[論文レビュー] Benchmarking Large Language Models for Molecule Prediction Tasks

Zhiqiang Zhong, Kuangyu Zhou+1 more|arXiv (Cornell University)|Mar 8, 2024

Machine Learning in Materials Science被引用数 6

ひとこと要約

本論文は、大規模言語モデル（LLMs）が分子予測タスクでどれだけ高性能を発揮するかを評価し、分子データ用に設計されたMLモデルと比較し、LLMsを直接的な予測子ではなく知識補強器として活用するためのプロンプト設計とハイブリッドアプローチを探る。

ABSTRACT

Large Language Models (LLMs) stand at the forefront of a number of Natural Language Processing (NLP) tasks. Despite the widespread adoption of LLMs in NLP, much of their potential in broader fields remains largely unexplored, and significant limitations persist in their design and implementation. Notably, LLMs struggle with structured data, such as graphs, and often falter when tasked with answering domain-specific questions requiring deep expertise, such as those in biology and chemistry. In this paper, we explore a fundamental question: Can LLMs effectively handle molecule prediction tasks? Rather than pursuing top-tier performance, our goal is to assess how LLMs can contribute to diverse molecule tasks. We identify several classification and regression prediction tasks across six standard molecule datasets. Subsequently, we carefully design a set of prompts to query LLMs on these tasks and compare their performance with existing Machine Learning (ML) models, which include text-based models and those specifically designed for analysing the geometric structure of molecules. Our investigation reveals several key insights: Firstly, LLMs generally lag behind ML models in achieving competitive performance on molecule tasks, particularly when compared to models adept at capturing the geometric structure of molecules, highlighting the constrained ability of LLMs to comprehend graph data. Secondly, LLMs show promise in enhancing the performance of ML models when used collaboratively. Lastly, we engage in a discourse regarding the challenges and promising avenues to harness LLMs for molecule prediction tasks. The code and models are available at https://github.com/zhiqiangzhongddu/LLMaMol.

研究の動機と目的

• LLMs が複数のベンチマークデータセットに跨って分子予測タスクを効果的に処理できるかを評価する。
• グラフ認識手法を含む従来のMLモデルとLLMベースのアプローチを比較する。
• ゼロショットおよびfew-shotを含むプロンプト設計と、LLMの出力をMLモデルと統合する可能性を検討する。
• テキストでエンコードされた分子幾何情報の組み込みがLLMsの利益になるかを検討する。

提案手法

• 分子をSMILES文字列と、原子特徴およびグラフ構造をエンコードしたテキスト説明を用いて表現する。
• 固定パラメータのLLMから黒箱設定で予測を引き出すためのプロンプト（IF, IP, IE, IFD, IPD, IED, FS）を設計・評価する。
• LLM_Solo および LLM_Duo を、LMベースおよびGNNベースのベースラインとともに実行する。
• 6つのベンチマークデータセットで比較のために、標準的なMLモデル（GCN、GIN、DeBERTaベースのLM）を利用する。
• 予測器の性能と応答の一貫性を分析し、分子タスクにおけるLLMsの有用性と限界を評価する。

実験結果

リサーチクエスチョン

• RQ1 6つのベンチマークデータセットにわたる分子グラフ特性予測タスクで、LLMsは競争力のある性能を達成できるか。
• RQ2 分子特性を予測する際、プロンプト工学やfew-shotの例はLLMsの利益になるか。
• RQ3 グラフ構造をテキスト説明にエンコードすることは、分子タスクにおけるLLMsの性能を助けるのか、それとも妨げるのか。
• RQ4 LLMsは従来のMLモデルを補強して分子タスクの予測精度を向上させることができるか。
• RQ5 LLMsを分子予測タスクに使用する際の制限と、有望な方向性は何か。

主な発見

• LLMsは一般に、分子幾何を捉えるモデルを含むMLモデルに遅れをとる。
• GPTファミリーモデル（GPT-3.5、GPT-4）はこの分野で他のLLMより優れているが、GPT-4はGPT-3.5より著しく高コストで遅い。
• プロンプトに分子幾何のテキスト記述を追加しても、性能が安定的に向上するとは限らず、応答の一貫性を低下させる可能性がある。
• 幾何構造を組み込んだモデルは、テキストのみのLLMよりも性能が優れており、正確な予測には幾何が重要であることを示している。
• LLMsは複数の状況でMLモデルの性能を向上させる有意義な補強を提供でき、LLMsは単独の予測子というより知識補強者として用いるのが適切であることを示唆する。
• 実務的な教訓は、LLMsを直接の分子特性予測器としてではなく、MLパイプラインのドメイン知識強化ツールとして活用することを検討すること。