[論文レビュー] Towards 3D Molecule-Text Interpretation in Language Models

Sihang Li, Zhiyuan Liu+6 more|arXiv (Cornell University)|Jan 25, 2024

Machine Learning in Materials Science被引用数 7

ひとこと要約

論文は 3D-MoLM を紹介します。3D 分子エンコーダと言語モデルを 3D 分子-テキスト投影機と 3D 分子中心の指示調整データセット（3D-MoIT）を介して統合します。3D依存性のある性質を含む分子-テキスト検索、キャプション付け、およびオープンテキスト分子 QA タスクで最先端の性能を実証します。

ABSTRACT

Language Models (LMs) have greatly influenced diverse domains. However, their inherent limitation in comprehending 3D molecular structures has considerably constrained their potential in the biomolecular domain. To bridge this gap, we focus on 3D molecule-text interpretation, and propose 3D-MoLM: 3D-Molecular Language Modeling. Specifically, 3D-MoLM enables an LM to interpret and analyze 3D molecules by equipping the LM with a 3D molecular encoder. This integration is achieved by a 3D molecule-text projector, bridging the 3D molecular encoder's representation space and the LM's input space. Moreover, to enhance 3D-MoLM's ability of cross-modal molecular understanding and instruction following, we meticulously curated a 3D molecule-centric instruction tuning dataset -- 3D-MoIT. Through 3D molecule-text alignment and 3D molecule-centric instruction tuning, 3D-MoLM establishes an integration of 3D molecular encoder and LM. It significantly surpasses existing baselines on downstream tasks, including molecule-text retrieval, molecule captioning, and more challenging open-text molecular QA tasks, especially focusing on 3D-dependent properties. We release our codes and datasets at https://github.com/lsh0520/3D-MoLM.

研究の動機と目的

• 3D分子構造とLMベースのテキスト処理のギャップを埋める。
• LM が3D分子幾何に条件付けてテキストを解釈・生成できるようにする。
• PubChemとPubChemQCから3D分子中心の指示調整データセット（3D-MoIT）を作成する。
• 3D依存性のある性質を含む分子-テキスト検索、キャプション、およびオープンテキストQAの性能を改善する。
• 3D分子エンコーダ、3D分子-テキスト投影機、LMを組み合わせたスケーラブルなパイプラインを提供し、分子の跨モダル理解を可能にする。

提案手法

• 3D分子エンコーダとして Uni-Mol を用い、分子の3D表現を生成する。
• 3D分子-テキスト投影機（Q-Former）を実装し、3D分子表現をLM入力空間へ1Dソフトプロンプトとしてマッピングする。
• Llama2 をベースの言語モデルとして統合し、テキストと分子の混在トークン列を因果生成マスクで許可する。
• 3段階で訓練する: (1) 分子-テキスト照合・対比・キャプションを用いた3D分子-テキスト表現学習; (2) 3D分子-テキスト整合のための生成学習による3Dからテキスト生成; (3) 3D分子中心の指示調整を通じて3D関連指示への追従性を向上。
• PubChem由来の316Kの3D分子-テキストペアをGPT-3.5の記述で強化し、整合性と下流タスクへ活用。
• LoRA調整を用いてLMを微調整し、3Dエンコーダは凍結のままにする。
• PubChemとPubChemQCから3D-MoIT指示調整データセットを作成し、3D依存特性情報を指示フォーマットへ注入する。

実験結果

リサーチクエスチョン

• RQ1 視覚言語 style の投影機は3D分子表現を言語モデルの入力空間と整列させられるか。
• RQ2 3D分子関連タスクの指示調整は生成とQAの性能を向上させるか。
• RQ3 1DのSMILESや2Dグラフと比較して、3D分子知覚は分子-テキスト検索、キャプション、オープンテキストQAにどう影響するか。
• RQ4 GPT-3.5の強化は3D-MoLMパイプラインにどの程度寄与するか。
• RQ5 3D対応のLMはUni-Molや他のベースラインと比較して3D依存性の分子特性でどう性能を出すか。

主な発見

• 3D-MoLMはPubChemの下流タスクの分子-テキスト検索とキャプショニングでベースラインを上回る（例: テストで検索の Acc 93.50 in M2T および 92.89 in T2M、キャプショニングで BLEU-2/4 と ROUGE/METEOR の改善）。
• GPT-3.5の強化はテキスト生成の品質を高め、分子構造と性質との結びつきを強化する。
• オープンテキストQAは、3D-MoLMが3D依存性の性質でより低い MAE と、記述的および計算特性 QA の結果を改善する。
• 3D分子中心の指示調整は指示への従い方を高め、3D特性理解を改善する（例: HOMO-LUMOギャップ予測）。
• Q-Formerによる3D分子-テキスト整合は、LMが3D分子構造に条件付けられたテキストを生成できるよう、有効なクロスモーダル生成を可能にする。