[論文レビュー] BioT5: Enriching Cross-modal Integration in Biology with Chemical Knowledge and Natural Language Associations

Qizhi Pei, Wei Zhang+6 more|arXiv (Cornell University)|Oct 11, 2023

Machine Learning in Bioinformatics被引用数 6

ひとこと要約

BioT5 は、生物学分野におけるクロスモダリティ統合を向上させる包括的事前学習フレームワークを提案する。SELFIES を用いて分子表現を強化し、生物医学文献からの文脈的な自然言語連関を活用する。分子記述生成およびテキストから分子を生成するタスクにおいて、既存モデルを上回り、構造化知識と非構造化知識を別々に処理することで、100% の有効な SMILES に類似した構造を生成する。

ABSTRACT

Recent advancements in biological research leverage the integration of molecules, proteins, and natural language to enhance drug discovery. However, current models exhibit several limitations, such as the generation of invalid molecular SMILES, underutilization of contextual information, and equal treatment of structured and unstructured knowledge. To address these issues, we propose $\mathbf{BioT5}$, a comprehensive pre-training framework that enriches cross-modal integration in biology with chemical knowledge and natural language associations. $\mathbf{BioT5}$ utilizes SELFIES for $100%$ robust molecular representations and extracts knowledge from the surrounding context of bio-entities in unstructured biological literature. Furthermore, $\mathbf{BioT5}$ distinguishes between structured and unstructured knowledge, leading to more effective utilization of information. After fine-tuning, BioT5 shows superior performance across a wide range of tasks, demonstrating its strong capability of capturing underlying relations and properties of bio-entities. Our code is available at $\href{https://github.com/QizhiPei/BioT5}{Github}$.

研究の動機と目的

• 既存モデルの限界、例えば無効な SMILES の生成や生物学的テキストにおける文脈情報の未活用を是正すること。
• 構造化知識（例：分子-テキストペア）と非構造化知識（例：生物医学文献）を区別することで、クロスモダリティ統合を向上させること。
• 包括的事前学習フレームワークを通じて化学的知識と自然言語連関を統合し、分子およびタンパク質表現学習を強化すること。
• 配列と文脈的なテキスト情報を併用して、正確で有効な分子構造および記述を生成できるモデルの開発

提案手法

• 無効な構造の生成を排除するために、SMILES の代わりに SELFIES を使用し、100% の強固な分子表現を実現する。
• 生物医学テキストを名前付きエンティティ認識およびエンティティリンク処理により、分子/タンパク質名を SELFIES または FASTA シーケンスに置き換えることで「ラッピングされた」テキストを生成する。
• テキスト、タンパク質配列（FASTA）、分子配列（SELFIES）の各モodal に対してマスクされたスパン回復目的を備えた共有 T5 ベースのエンコーダ-デコーダー構造を適用する。
• 構造化データ（例：ChEBI-20、ZINC-15）と非構造化テキスト（PubMed）の組み合わせを用いて事前学習を行い、各モダリティに固有の目的関数を別々に設定する。
• 分子が生物学的機能（例：酵素阻害）に関連することをリンクさせることでタンパク質知識を統合し、文脈の正確性を向上させる。
• エンドツーエンド学習により、分子記述生成やテキストベースの分子生成といった下流タスクでモデルを微調整する。

実験結果

リサーチクエスチョン

• RQ1 化学的知識と自然言語文脈を統合する包括的事前学習フレームワークは、生物学分野におけるクロスモダリティ統合を向上させ得るか？
• RQ2 SMILES を SELFIES に置き換えることで、生成モデルにおける無効な分子構造の生成が顕著に減少するか？
• RQ3 生物医学文献における周囲のテキストからの文脈的情報は、分子およびタンパク質表現の正確性を向上させ得るか？
• RQ4 構造化知識と非構造化知識を区別することで、バイオエンコーディングタスクのパフォーマンスが向上するか？
• RQ5 タンパク質知識の統合により、配列レベルのモデリングを超えて分子記述および生成の質が向上するか？

主な発見

• BioT5 は分子記述生成において最先端のパフォーマンスを達成し、置換基の位置や機能性基の記述など、分子特徴を MolT5 や T5 よりもより正確に表現している。
• テキストベースの分子生成タスクでは、BioT5 は 100% の有効な分子構造を生成し、無効な SMILES を生成する MolT5 よりも優れている。
• BioT5 は、SARS-CoV-2 メインプロテアーゼを阻害する複雑な分子を正しく同定しており、生物学的文脈の有効な統合を示している。
• モデルは意味的に整合性があり多様な出力を生成し、MolT5 のようなベースラインで見られる繰り返しを回避している。
• 特に複雑で長い分子において、GPT-3.5-turbo や MolXPT といった強力なベースラインを上回っている。これは、強固な SELFIES 表現によるものである。
• ポリペプチドを分子として処理できる能力は、小分子とタンパク質の境界が曖昧であることを示しており、共同モデリングによる相乗効果の可能性を示唆している。