[論文レビュー] 3D-MolT5: Leveraging Discrete Structural Information for Molecule-Text Modeling

Qizhi Pei, Rui Yan+3 more|arXiv (Cornell University)|Jun 9, 2024

Synthetic Organic Chemistry Methods被引用数 4

ひとこと要約

3D-MolT5 は、E3FP フィンガープrint を用いた新しい 3D 分子トークン化手法を介して、1D 分子配列（SELFIES）と 3D 分子構造を統合する統合的 T5 ベースのフレームワークを提案する。1 原子単位で 1D と 3D トークンをアライメントし、複数のタスクで共同事前学習することで、分子物性予測、分子記述生成、テキストから分子生成の分野で最先端の性能を達成し、ChEBI-20 で 48.7% の正確一致スコアを記録した。

ABSTRACT

The integration of molecular and natural language representations has emerged as a focal point in molecular science, with recent advancements in Language Models (LMs) demonstrating significant potential for comprehensive modeling of both domains. However, existing approaches face notable limitations, particularly in their neglect of three-dimensional (3D) information, which is crucial for understanding molecular structures and functions. While some efforts have been made to incorporate 3D molecular information into LMs using external structure encoding modules, significant difficulties remain, such as insufficient interaction across modalities in pre-training and challenges in modality alignment. To address the limitations, we propose extbf{3D-MolT5}, a unified framework designed to model molecule in both sequence and 3D structure spaces. The key innovation of our approach lies in mapping fine-grained 3D substructure representations into a specialized 3D token vocabulary. This methodology facilitates the seamless integration of sequence and structure representations in a tokenized format, enabling 3D-MolT5 to encode molecular sequences, molecular structures, and text sequences within a unified architecture. Leveraging this tokenized input strategy, we build a foundation model that unifies the sequence and structure data formats. We then conduct joint pre-training with multi-task objectives to enhance the model's comprehension of these diverse modalities within a shared representation space. Thus, our approach significantly improves cross-modal interaction and alignment, addressing key challenges in previous work. Further instruction tuning demonstrated that our 3D-MolT5 has strong generalization ability and surpasses existing methods with superior performance in multiple downstream tasks. Our code is available at https://github.com/QizhiPei/3D-MolT5.

研究の動機と目的

• 既存の言語モデルが 3D 分子構造を適切にモデル化できないという限界に対処すること。これは、立体化学や 3D 依存タスクにおいて不可欠である。
• 既存の 3D 構造拡張型言語モデルにおけるモダリティの不一致と分離されたチューニングの問題を克服し、共通のトークン空間内に 1D と 3D の表現を統合すること。
• 統合的事前学習およびインstructチューニングフレームワークを通じて、分子配列と 3D 構造情報のエンドツーエンド学習を可能にすること。
• 微細な 3D 部分構造表現を統合することで、分子物性予測、分子記述生成、テキスト誘導型分子生成といった下流タスクの性能を向上させること。

提案手法

• E3FP（拡張 3D フィンガープrint）に基づく 3D 分子トークン化手法を導入し、3D 分子構造を、特定の原子を中心とする部分構造を表す離散的 3D トークンに変換する。
• 1D SELFIES トークンと 3D 構造トークンを原子レベルでアライメントし、それらの埋め込みを合算して統合的分子表現を形成する。
• 5 つの目的を持つマルチタスク事前学習戦略を採用する：1D のノイズ除去、1D+3D の共同ノイズ除去、3D から 1D への翻訳、3D からテキストへの翻訳、テキストから 1D 分子への翻訳。
• T5 ベースのアーキテクチャを用いて 1D シーケンス、3D トークン、テキストを同時にエンコードし、ゼロショットおよびフェイントショット一般化を可能にするインstructチューニングを実装する。
• 複数の下流データセットに対してインストラクションチューニングを適用し、多様な分子生成および理解タスクにモデルを適応させる。
• 1D および 3D 分子表現を両方ともサポートする統合的トークン語彙を採用し、単一のモデルアーキテクチャ内でスムーズな統合を実現する。

実験結果

リサーチクエスチョン

• RQ1 E3FP を用いた離散的・部分構造ベースの表現によって、3D 分子構造を効果的にトークン化し、事前学習言語モデルに統合できるか？
• RQ2 1D および 3D モダリティを共同で事前学習することで、物性予測や 3D 機能モデリングといった 3D 依存タスクの性能が向上するか？
• RQ3 2D や 1D 僅かなモデルと比較して、3D 構造情報がテキストから分子生成の正確性をどの程度向上させるか？
• RQ4 1D と 3D トークンを原子レベルでアライメントすることで、テキスト的記述から化学的に妥当な分子を生成する能力にどのような影響を与えるか？

主な発見

• 3D-MolT5 は、テキスト誘導型分子生成タスクにおいて ChEBI-20 データセットで 48.7% の正確一致スコアを達成し、GPT-4 や BioT5 を含むすべてのベースラインを大きく上回った。
• ChEBI-20 で 0.849 の BLEU スコアと 0.574 の text2mol スコアを達成し、生成品質と基準分子との整合性の両面で優れた性能を示した。
• アブレーションスタディの結果、3D 入力を削除すると、HOMO-LUMO 間隙予測の MAE が 0.0791 から 0.0968 に上昇し、3D 構造が 3D 依存タスクにおいて極めて重要な役割を果たしていることが確認された。
• 1D+3D の共同ノイズ除去および翻訳事前学習タスクを削除すると性能が低下し、3D を意識した表現学習にこれらのタスクが寄与していることが証明された。
• ChEBI-20 データセットにおいて 3D-MolT5 は 100% の有効性率を達成し、生成された分子の化学的妥当性が極めて高いことを示した。
• テキストベースの分子生成のすべての指標において、GPT-4 や BioT5 といった大規模モデルでさえも上回り、本モデルの効率性と有効性が顕著に示された。