[論文レビュー] Empowering Molecule Discovery for Molecule-Caption Translation with Large Language Models: A ChatGPT Perspective

Jiatong Li, Yunqing Liu+5 more|arXiv (Cornell University)|Jun 11, 2023

Machine Learning in Materials Science参考文献 40被引用数 22

ひとこと要約

MolReGPT は retrieval-based prompts と ChatGPT の in-context learning を用いて、分子と自然言語の翻訳を行い、分子発見を実現する。ファインチューニング済みの MolT5-base を主要タスクで上回り、ファインチューニングなしで達成。

ABSTRACT

Molecule discovery plays a crucial role in various scientific fields, advancing the design of tailored materials and drugs. However, most of the existing methods heavily rely on domain experts, require excessive computational cost, or suffer from sub-optimal performance. On the other hand, Large Language Models (LLMs), like ChatGPT, have shown remarkable performance in various cross-modal tasks due to their powerful capabilities in natural language understanding, generalization, and in-context learning (ICL), which provides unprecedented opportunities to advance molecule discovery. Despite several previous works trying to apply LLMs in this task, the lack of domain-specific corpus and difficulties in training specialized LLMs still remain challenges. In this work, we propose a novel LLM-based framework (MolReGPT) for molecule-caption translation, where an In-Context Few-Shot Molecule Learning paradigm is introduced to empower molecule discovery with LLMs like ChatGPT to perform their in-context learning capability without domain-specific pre-training and fine-tuning. MolReGPT leverages the principle of molecular similarity to retrieve similar molecules and their text descriptions from a local database to enable LLMs to learn the task knowledge from context examples. We evaluate the effectiveness of MolReGPT on molecule-caption translation, including molecule understanding and text-based molecule generation. Experimental results show that compared to fine-tuned models, MolReGPT outperforms MolT5-base and is comparable to MolT5-large without additional training. To the best of our knowledge, MolReGPT is the first work to leverage LLMs via in-context learning in molecule-caption translation for advancing molecule discovery. Our work expands the scope of LLM applications, as well as providing a new paradigm for molecule discovery and design.

研究の動機と目的

• 材料や医薬品の設計を支援するために、分子と自然言語の間の翻訳を通じて効率的な分子発見を促進する。
• retrieval-based prompts を活用した LLM により、専門家依存と高コストなファインチューニングを削減する。
• ローカルデータベースから取得した領域関連の例に基づいて LLM の出力を精度づける。
• LLM（ChatGPT）が Mol2Cap および Cap2Mol タスクでファインチューニング済みのベースラインを上回ることを実証する。
• パラメータ更新なしでプロンプトがクロスモーダルな分子理解を導くことを示す実行可能なフレームワークと証拠を提供する。）

提案手法

• MolReGPT を提案する。分子-キャプション取得、プロンプト管理、文脈内少数ショット分子学習、生成キャリブレーションの四段階フレームワーク。
• キャプションを地盤付けするために、構造的に類似した分子を取得する際 Morgan Fingerprints と Dice 類似度を用いる。
• Cap2Mol タスクの意味的に類似したキャプションを見つけるために BM25 ベースのキャプション検索を用いる。
• 取得した例を用いてシステムプロンプトを構築し、ファインチューニングなしでChatGPTを文脈内学習へ導く。
• 事前定義された JSON 出力形式を遵守し、必要に応じて生成キャリブレーションを適用して形式を修正または再問い合わせする。

実験結果

リサーチクエスチョン

• RQ1 retrieval-augmented in-context learning により、ファインチューニングなしで ChatGPT が分子キャプション付け(Mol2Cap) およびテキストベースの分子生成(Cap2Mol) を実行できるか。
• RQ2 Morgan Fingerprints ベースの分子取得と BM25 ベースのキャプション取得は、LLM による分子-キャプション翻訳の性能を向上させるか。
• RQ3 MolReGPT は Mol2Cap および Cap2Mol タスクでファインチューニング済みのベースライン（例：MolT5-base）とどう比較されるか。
• RQ4 取得例の数（n-shot）が翻訳品質に与える影響は何か。

主な発見

方法	BLEU-2	BLEU-4	ROUGE-1	ROUGE-2	ROUGE-L	METEOR	Text2Mol
Transformer (Edwards et al., 2022)	0.061	0.027	0.204	0.087	0.186	0.114	0.057
T5-base (Edwards et al., 2022)	0.511	0.423	0.607	0.451	0.550	0.539	0.523
MolT5-base (Edwards et al., 2022)	0.540	0.457	0.634	0.485	0.578	0.569	0.547
GPT-3.5-turbo (zero-shot)	0.103	0.050	0.261	0.088	0.204	0.161	0.352
GPT-3.5-turbo (10-shot MolReGPT)	0.565	0.482	0.623	0.450	0.543	0.585	0.560

• MolReGPT は 10-shot プロンプトで Mol2Cap Text2Mol スコア 0.560 を達成し、ファインチューニングなしの MolT5-base を上回る。
• MolReGPT は 10-shot プロンプトで Cap2Mol Text2Mol スコア 0.571 を達成し、MolT5（ファインチューニングなし）と比較して Text2Mol を約 3% 向上させる。
• Mol2Cap で、10-shot MolReGPT を用いた GPT-3.5-turbo は BLEU、ROUGE、METEOR などの複数指標でファインチューニング済みベースラインと同等またはそれを上回る。
• Cap2Mol では、10-shot プロンプトを用いた MolReGPT が競争力のある BLEU および EM スコアを示し、ベースラインより Morgan FTS と Text2Mol 指標が高い。
• 全体として、MolReGPT は報告されたサブタスクでファインチューニング済み MolT5-base を上回る（いかなるファインチューニングも不要）。