[論文レビュー] Can Large Language Models Empower Molecular Property Prediction?

Qian Chen, Huayi Tang+3 more|arXiv (Cornell University)|Jul 14, 2023

Machine Learning in Materials Science被引用数 13

ひとこと要約

この論文は、LLMを用いた分子特性予測を、zero/few-shot のインコンテキスト分類と、SMILESのLLM生成の説明から構築された新しいCaR表現を通じて調査し、CaRがベンチマークデータセットでしばしばベースラインに匹敵するかそれを上回ることを示している。

ABSTRACT

Molecular property prediction has gained significant attention due to its transformative potential in multiple scientific disciplines. Conventionally, a molecule graph can be represented either as a graph-structured data or a SMILES text. Recently, the rapid development of Large Language Models (LLMs) has revolutionized the field of NLP. Although it is natural to utilize LLMs to assist in understanding molecules represented by SMILES, the exploration of how LLMs will impact molecular property prediction is still in its early stage. In this work, we advance towards this objective through two perspectives: zero/few-shot molecular classification, and using the new explanations generated by LLMs as representations of molecules. To be specific, we first prompt LLMs to do in-context molecular classification and evaluate their performance. After that, we employ LLMs to generate semantically enriched explanations for the original SMILES and then leverage that to fine-tune a small-scale LM model for multiple downstream tasks. The experimental results highlight the superiority of text explanations as molecular representations across multiple benchmark datasets, and confirm the immense potential of LLMs in molecular property prediction tasks. Codes are available at \url{https://github.com/ChnQ/LLM4Mol}.

研究の動機と目的

• NLP時代のモデルの領域として分子特性予測を動機づけ、SMILESベースのタスクに対するLLMの能力を評価する。
• ChatGPTを用いたインコンテキスト学習によるzero/few-shot分子分類を調査する。
• CaR (Captions as New Representation)を提案し、下流モデリングのためのSMILESの意味的説明を生成する。
• LLM生成の説明を用いて分類および回帰タスクを実行するために、小規模なLMをファインチューニングする。
• CaRを、グラフベースおよびSMILESベースのベースラインと、複数のデータセットに渡って比較する。

提案手法

• zero/few-shot能力を評価するために、インコンテキスト分子分類を実行するようChatGPTにプロンプトを与える。
• ChatGPTを用いてSMILES文字列の意味的に豊かな説明を生成し、これらの説明を分子表現（CaR）として用いる。
• CaR表現を用いた下流タスクで、事前学習済みの小型LM（例: RoBERTa）をファインチューニングする。
• 分類と回帰タスクを含む9データセットにわたって性能を評価する。
• 小型LMを他の事前学習モデル（DeBERTa、adaptive-lm-molecules）に置換してスクラッチからの訓練を行い、収束解析とアブレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 従来の方法と比較して、ChatGPTはzero/few-shot分子分類を効果的に実行できるか？
• RQ2 LLMが生成するテキストによる説明は、分子特性予測に意味のある表現を提供するか？
• RQ3 CaRは多様なデータセットで従来のGNNやSMILESベース手法より性能を改善するか？
• RQ4 ランダム分割とスキャフォールド分割、および異なる小型LMのバックボーンにおいて、CaRはどのように振る舞うか？
• RQ5 CaRパイプラインにおける事前学習済みLMとスクラッチ学習LMの使用の影響は何か？

主な発見

• CaRはランダム分割の下で、分類・回帰のほぼ全データセットで優れた結果を達成する。
• ランダム分割下のPTCデータセットで、CaRは従来手法より53%改善を示した。
• スキャフォールド分割では、CaRは複数のデータセットで競争力のある結果を得ており、いくつかのケースで顕著な改善が見られ、LipophilicityではGNNと比較してわずかな不足を示す。
• 収束分析は、CaRの損失が初期に急速に低下し、その後収束へ向かって変動する一方で、ROC-AUCは逆の傾向を示す。
• 小型LMを他の事前学習LM（DeBERTa、adaptive-LM Molecules）に置換すると、スクラッチから訓練するのと同等かそれ以上の性能を示し、CaRの有効性を裏付ける。
• Zero/few-shotのChatGPTの性能はデータセットとプロンプトによって異なり、ショット数を増やすと改善するが、プロンプト設計が結果に大きく影響する。