[論文レビュー] InstructMol: Multi-Modal Integration for Building a Versatile and Reliable Molecular Assistant in Drug Discovery

He Cao, Zijing Liu+3 more|arXiv (Cornell University)|Nov 27, 2023

Machine Learning in Materials Science被引用数 14

ひとこと要約

InstructMol は、モルキュラグラフと配列を自然言語と整合させる多モーダル LLM で、2段階の指示調整パイプラインを通じて分子タスクの性能を向上させ、専門モデルとのギャップを埋めます。

ABSTRACT

The rapid evolution of artificial intelligence in drug discovery encounters challenges with generalization and extensive training, yet Large Language Models (LLMs) offer promise in reshaping interactions with complex molecular data. Our novel contribution, InstructMol, a multi-modal LLM, effectively aligns molecular structures with natural language via an instruction-tuning approach, utilizing a two-stage training strategy that adeptly combines limited domain-specific data with molecular and textual information. InstructMol showcases substantial performance improvements in drug discovery-related molecular tasks, surpassing leading LLMs and significantly reducing the gap with specialized models, thereby establishing a robust foundation for a versatile and dependable drug discovery assistant.

研究の動機と目的

• 分子表現（グラフとシーケンス）を自然言語と結びつけ、汎用的な薬物発見アシスタントを可能にする。
• モダリティを整合させ、下流タスクへ適応するため、2段階のトレーニング戦略で限られたドメインデータを活用する。
• 一般的なLLMsに対する改善を示し、分子タスク全般で専門モデルとのギャップを縮小する。

提案手法

• 分子構造をグラフとシーケンスとしてエンコードし、テキスト空間への軽量投影で整合させる。
• 2段階のトレーニング: (i) 分子-テキストペアでの整合プリトレーニングによりグラフ表現をテキスト空間に射影、(ii) 凍結したグラフエンコーダとLLMの上にLoRAを用いたタスク特化の指示チューニング。
• 基盤LLMとして Vicuna-7B を用い、テキストと事前整合したGINベースの分子グラフエンコーダ（MoleculeSTM）を採用。
• 分子記述データとドメイン特有のタスク指示で学習し、性質予測、記述生成、反応分析への適応を図る。

Figure 2 : Overview of InstructMol model architecture design and two-stage training paradigm. The example molecule in the figure is Terephthalaldehyde [ 62 ] (CID 12173).

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルの指示調整済みLLMは、薬物発見タスクのために分子グラフとシーケンスを自然言語と効果的に整合させることができるか？
• RQ2 2段階のパイプライン（整合プリトレーニングとタスク特化の指示チューニング）は、一般的なLLMや単一モダリティのベースラインより性能を向上させるか？
• RQ3 InstructMol は 化合物性質予測、分子記述生成、化学反応タスクにおいて、専門モデルや他のLLMベースのベースラインと比較してどのように性能を示すか？

主な発見

• InstructMol は、最新の一般的なLLMsと比較して、分子理解・設計タスクにおけるLLMの性能を一貫して向上させる。
• データ不足下で、軽量な整列投影器を用いた2段階トレーニングは、より複雑なクロスアテンション手法よりモダリティ整合を向上させる。
• 分子記述生成と性質予測は単一モダリティLLMベースラインより改善を示すが、いくつかの指標では専門モデルが依然優位。
• アブレーション解析は、グラフ-テキストの事前整合とLLM適応のLoRAの使用が収束とタスク性能に重要であることを示唆する。

Figure 3 : Comparison of biomolecule-domain molecule-text dataset scale with existing general domain vision-language datasets [ 4 , 81 , 13 , 87 , 71 ] .