[論文レビュー] BioT5+: Towards Generalized Biological Understanding with IUPAC Integration and Multi-task Tuning

Qizhi Pei, Lijun Wu+7 more|arXiv (Cornell University)|Feb 27, 2024

Chemical Reactions and Isotopes被引用数 4

ひとこと要約

BioT5+ は IUPAC 名の統合、マルチタスクインstruct チューニング、および数値トークン化を組み合わせることで、21 のベンチマークで15 の多様なタスクにわたる一般化性能を著しく向上させ、生物学的言語モデリングを強化した。分類、回帰、生成タスクにおいて最先端の性能を達成し、特に機能的記述に従ったタンパク質設計において 0.972 の正規化スミス・ウォーターマンスコアを達成した。

ABSTRACT

Recent research trends in computational biology have increasingly focused on integrating text and bio-entity modeling, especially in the context of molecules and proteins. However, previous efforts like BioT5 faced challenges in generalizing across diverse tasks and lacked a nuanced understanding of molecular structures, particularly in their textual representations (e.g., IUPAC). This paper introduces BioT5+, an extension of the BioT5 framework, tailored to enhance biological research and drug discovery. BioT5+ incorporates several novel features: integration of IUPAC names for molecular understanding, inclusion of extensive bio-text and molecule data from sources like bioRxiv and PubChem, the multi-task instruction tuning for generality across tasks, and a numerical tokenization technique for improved processing of numerical data. These enhancements allow BioT5+ to bridge the gap between molecular representations and their textual descriptions, providing a more holistic understanding of biological entities, and largely improving the grounded reasoning of bio-text and bio-sequences. The model is pre-trained and fine-tuned with a large number of experiments, including \emph{3 types of problems (classification, regression, generation), 15 kinds of tasks, and 21 total benchmark datasets}, demonstrating the remarkable performance and state-of-the-art results in most cases. BioT5+ stands out for its ability to capture intricate relationships in biological data, thereby contributing significantly to bioinformatics and computational biology. Our code is available at \url{https://github.com/QizhiPei/BioT5}.

研究の動機と目的

• 既存の生物学的言語モデルにおける IUPAC 名のモデリング不足が、分子構造のテキスト理解を制限しているという問題に対処する。
• タスク固有のファインチューニングに代わって統一されたマルチタスクインstruct チューニングフレームワークを採用することで、多様な生物学的タスクにおけるモデルの一般化性能を向上させる。
• 分子性質予測タスクへの対応を強化するため、回帰タスクにおける性能を向上させるために、新しい数値トークン化手法を導入する。
• bioRxiv や PubMed からの広範なバイオテキスト、および PubChem からの高品質な分子を統合することで、トレーニングデータの範囲を拡大する。
• 機能的記述に従った生物学的配列（例：特定の機能を持つタンパク質）の根拠に基づいた生成を可能にする。

提案手法

• 科学文献に見られる自然言語記述と整合する形式的な分子表現（例：SELFIES）を、BioT5 フレームワークに IUPAC 名を統合することで、分子構造の理解を向上させる。
• 120万件のバイオテキスト（bioRxiv および PubMed から）、150万個の分子（PubChem から）を前処理データに追加し、文脈的・構造的知識を豊かにする。
• 分類、回帰、テキストから配列への生成を含む15の多様な生物学的タスクにおいてマルチタスクインstruct チューニングを実施し、ゼロショットおよびフェイシュー一般化性能を向上させる。
• 回帰タスクにおけるモデル性能向上を目的として、数値値（例：pIC50、logP）を分離・符号化する新しい数値トークン化技術を導入する。
• 薬剤発見、タンパク質機能予測、配列生成をカバーする21のベンチマークデータセットを、統一された T5 ベースアーキテクチャを用いてファインチューニングする。
• タンパク質配列生成の品質を評価するために、正規化スミス・ウォーターマンアラインメントスコアを用い、真値配列との堅牢な比較を実現する。

実験結果

リサーチクエスチョン

• RQ1 生物学的言語モデルに IUPAC 名を統合することで、自然言語文脈における分子構造の理解が向上するか？
• RQ2 マルチタスクインstruct チューニングは、タスク固有のファインチューニングに比べ、多様な生物学的 NLP タスクにおける一般化性能を上回るか？
• RQ3 新しい数値トークン化戦略は、バイオシーケンスおよびバイオテキストにおける回帰タスクの性能を著しく向上させるか？
• RQ4 科学文献および分子データベースからのデータを前処理データに拡張することで、モデルの性能および推論能力がどの程度向上するか？
• RQ5 既存のモデルと比較して、機能的記述に基づいた生物学的に妥当なタンパク質配列の生成性能はどの程度か？

主な発見

• BioT5+ は、分類、回帰、生成タスクの全21のベンチマークデータセットのうち18で最先端の性能を達成した。
• 機能的記述に従ったタンパク質設計タスクにおいて、BioT5+ は正規化スミス・ウォーターマンスコア 0.972 を達成し、Galactica（0.109）および Mol-Instructions（0.428）を著しく上回った。
• 特化した数値トークン化手法のおかげで、特に回帰タスクにおいて優れたゼロショット一般化性能を示した。
• マルチタスクインstruct チューニングにより、タスク固有のファインチューニングなしで15の異なるタスクで良好な性能を発揮し、トレーニングコストを削減するとともに、柔軟性を向上させた。
• IUPAC 名の統合により、モデルのテキスト記述と分子構造のリンク能力が向上し、生物学的テキストにおける根拠に基づいた推論能力が強化された。
• 第二のタンパク質設計ベンチマークでも、BioT5+ は正規化 SW スコア 0.916 を達成し、Mol-Instructions（0.328）および Galactica（0.119）を上回った。