[論文レビュー] A Review of Large Language Models and Autonomous Agents in Chemistry

Mayk Caldas Ramos, Christopher J. Collison+1 more|arXiv (Cornell University)|Jun 26, 2024

Machine Learning in Materials Science被引用数 12

ひとこと要約

このレビューは、LLMs（大規模言語モデル）とLLMベースの自律エージェントが化学に与える影響を概説し、アーキテクチャ、化学応用、データセット、ベンチマーク、課題、今後の方向性を包括的に扱う。

ABSTRACT

Large language models (LLMs) have emerged as powerful tools in chemistry, significantly impacting molecule design, property prediction, and synthesis optimization. This review highlights LLM capabilities in these domains and their potential to accelerate scientific discovery through automation. We also review LLM-based autonomous agents: LLMs with a broader set of tools to interact with their surrounding environment. These agents perform diverse tasks such as paper scraping, interfacing with automated laboratories, and synthesis planning. As agents are an emerging topic, we extend the scope of our review of agents beyond chemistry and discuss across any scientific domains. This review covers the recent history, current capabilities, and design of LLMs and autonomous agents, addressing specific challenges, opportunities, and future directions in chemistry. Key challenges include data quality and integration, model interpretability, and the need for standard benchmarks, while future directions point towards more sophisticated multi-modal agents and enhanced collaboration between agents and experimental methods. Due to the quick pace of this field, a repository has been built to keep track of the latest studies: https://github.com/ur-whitelab/LLMs-in-science.

研究の動機と目的

• LLMsが化学における性質予測、逆設計、合成計画をどのように可能にするかを評価する。
• 化学タスクにおけるエンコーダー専用、デコーダー専用、エンコーダー-デコーダー型のLLMアーキテクチャを比較する。
• LLMベースの自律エージェントと、それらが文献調査、実験、データ自動化に果たす役割について論じる。
• データ品質、ベンチマーク、解釈性、統合の課題を特定し、方向性を提案する。

提案手法

• トランスフォーマーの歴史的背景を提供し、アーキテクチャを化学タスクに結びつける。
• 化学LLMsに関連する分子表現、データセット、ベンチマークをレビューする。
• 性質予測、合成、マルチモーダルタスクに対するLLMタイプ（エンコーダー専用、デコーダー専用、エンコーダー-デコーダー）の分析。
• トレーニングパイプラインと整合性手法（事前学習、教師付きファインチューニング、RLHF、DPO）を議論する。
• メモリ、計画、知覚、ツールといった自律エージェントの設計と、それらの化学応用を調査する。
• マルチモーダルエージェントとエージェントと実験手法の協働の将来方向性を統合する。

Figure 1: a) The generalized encoder-decoder transformer: The encoder on the left converts an input into a vector, while the decoder on the right predicts the next token in a sequence. b) Encoder-decoder transformers are traditionally used for translation tasks and, in chemistry, for reaction predic

実験結果

リサーチクエスチョン

• RQ1 化学における性質予測、逆設計、合成におけるLLMsの現在の能力は何か？
• RQ2 さまざまなトランスフォーマーアーキテクチャは化学固有タスクでどのように性能を発揮するか？
• RQ3 化学LLMsを最も効果的に支えるデータ品質、ベンチマーク、分子表現は何か？
• RQ4 化学におけるLLMベースの自律エージェントの主な課題と機会は何か？
• RQ5 マルチモーダルおよび協働エージェントの今後の発展が実験化学をどのように進展させ得るか？

主な発見

• LLMsはSMILESやInChIのような化学言語表現を活用して、性質予測、分子設計、合成計画を可能にする。
• エンコーダー専用モデル（例：BERTベース）は性質予測と反応分類に優れ、デコーダー専用モデルは新規分子生成を可能にし、エンコーダー-デコーダーハイブリッドは柔軟なタスクをサポートする。
• マルチモーダルおよびテキスト-to-テキストアプローチ（例：T5、指示付きチューニング）は化学分野のタスク範囲と汎化を広げる。
• メモリ、計画、知覚、ツールインターフェースを搭載した自律エージェントは、化学における文献調査、実験計画、データ処理の自動化を実行できる。
• 重要なボトルネックはデータ品質とグラウンディングであり、既存のデータセット（例：MoleculeNet）は制限を持つ。高品質で実世界に基づくデータと標準化されたベンチマークの必要性を強調する。
• 将来の方向性は、より高度なマルチモーダルエージェントとエージェントと実験室とのより密接な結合を指す。

Figure 3: Number of training tokens (on log scale) available from various chemical sources compared with typical LLM training runs. The numbers are drawn from ZINC 176 , PubChem 177 , Touvron et al. 178 , ChEMBL 179 , and Kinney et al. 180