[論文レビュー] Multi-modal Molecule Structure-text Model for Text-based Retrieval and Editing

Shengchao Liu, Weili Nie+7 more|arXiv (Cornell University)|Dec 21, 2022

Computational Drug Discovery Methods被引用数 22

ひとこと要約

MoleculeSTMはPubChemSTMの対比的事前学習を用いて分子構造とテキスト記述を共同で学習し、ゼロショットの構造-テキスト検索とテキストベースの分子編集を可能にする。これにより、ゼロショットタスクで最先端の一般化を達成し、特性予測の競争力も確保している。

ABSTRACT

There is increasing adoption of artificial intelligence in drug discovery. However, existing studies use machine learning to mainly utilize the chemical structures of molecules but ignore the vast textual knowledge available in chemistry. Incorporating textual knowledge enables us to realize new drug design objectives, adapt to text-based instructions and predict complex biological activities. Here we present a multi-modal molecule structure-text model, MoleculeSTM, by jointly learning molecules' chemical structures and textual descriptions via a contrastive learning strategy. To train MoleculeSTM, we construct a large multi-modal dataset, namely, PubChemSTM, with over 280,000 chemical structure-text pairs. To demonstrate the effectiveness and utility of MoleculeSTM, we design two challenging zero-shot tasks based on text instructions, including structure-text retrieval and molecule editing. MoleculeSTM has two main properties: open vocabulary and compositionality via natural language. In experiments, MoleculeSTM obtains the state-of-the-art generalization ability to novel biochemical concepts across various benchmarks.

研究の動機と目的

• オープンボキャブラリのゼロショット創薬タスクを可能にするために、分子構造とテキスト知識を組み込む。
• 化学構造を自然言語記述と一致させる2つのブランチから成る基盤モデルを開発する。
• 設計と探索の能力を拡張するために、ゼロショットの構造-テキスト検索とテキストベースの分子編集を実現する。
• 構造-テキストの共同事前学習が下流の特性予測を改善し、組成的な多目的タスクを支援することを示す。

提案手法

• 二枝式アーキテクチャ：化学構造ブランチ（SMILES または 2D グラフ）とテキスト記述ブランチ（言語モデル）。
• 構造とテキストを整列させる対比学習によるジョイント表現（共有空間内の p_c∘f_c および p_t∘f_t）。
• PubChemSTM での事前学習。構造-テキストデータセットで 281K 対（251K 分子、281K 対）。
• 下流タスク：ゼロショット構造-テキスト検索とゼロショットのテキストベース分子編集、さらに MoleculeNet の特性予測評価。
• 編集のための空間整列と潜在最適化：アダプタ m_g2f と コサイン類似度および L2 項を用いた潜在コード w の最適化。

実験結果

リサーチクエスチョン

• RQ1 オープン vocabulary の自然言語記述は、化学構造とドメイン知識をゼロショットタスクのために橋渡しできるか？
• RQ2 訓練時に見られなかった検索および編集タスクへ、二枝の MoleculeSTM がどれくらい一般化するか？
• RQ3 構造-テキストの共同事前学習は、標準的な分子特性予測ベンチマークを改善するか？
• RQ4 組成的なプロンプトはゼロショットフレームワークで多属性分子編集を可能にするか？
• RQ5 テキスト誘導編集が分子のサブ構造と性質に与える定性的効果は何か？

主な発見

• MoleculeSTM は六つのゼロショット検索タスクと二十のゼロショット編集タスクで最先端の一般化を達成し、ベースラインを大きく上回った。
• オープンボキャラと組成性は、微調整なしで柔軟なテキスト誘導検索と多目的編集を可能にする。
• 分子編集において、MoleculeSTM はテキストプロンプトと整合し、ドメインに意味のある構造変化を反映する出力分子を生成する。
• 八つの MoleculeNet 特性予測タスクで、微調整後、九つのベースラインの中で最も総合的な性能を達成。
• 定性的分析は、モデルが意味のある官能基の変更やプロンプトと一致するサブ構造の変化を捉えていることを示す。