[論文レビュー] Emergent autonomous scientific research capabilities of large language models

Daniil A. Boiko, Robert MacKnight+1 more|arXiv (Cornell University)|Apr 11, 2023

Topic Modeling被引用数 74

ひとこと要約

本論文は、複数の大規模言語モデルを組み合わせて自律的に科学実験を設計・計画・実行する知能エージェントシステムを提示し、触媒付きクロスカップリング反応を含む実験の自律的設計と実行を実証するとともに、安全性に関する考慮事項を論じる。

ABSTRACT

Transformer-based large language models are rapidly advancing in the field of machine learning research, with applications spanning natural language, biology, chemistry, and computer programming. Extreme scaling and reinforcement learning from human feedback have significantly improved the quality of generated text, enabling these models to perform various tasks and reason about their choices. In this paper, we present an Intelligent Agent system that combines multiple large language models for autonomous design, planning, and execution of scientific experiments. We showcase the Agent's scientific research capabilities with three distinct examples, with the most complex being the successful performance of catalyzed cross-coupling reactions. Finally, we discuss the safety implications of such systems and propose measures to prevent their misuse.

研究の動機と目的

• 大規模言語モデルの自律的な科学研究能力を動機づけ、実証する。
• Intelligent Agent が複数のLLMを調整して、エンドツーエンドの実験設計と実行を実現できることを示す。
• 化学および関連分野にわたる応用を示す。
• 安全性リスクを論じ、悪用防止のための緩和戦略を提案する。

提案手法

• 複数の大規模言語モデルを調整する知能エージェントシステムを提案する。
• 科学実験の自律設計・計画・実行を実証する。
• 複雑な触媒付きクロスカップリング反応を含む3つの例題タスクを提示する。
• 安全性の影響を論じ、悪用防止のための予防的手段を提案する。

実験結果

リサーチクエスチョン

• RQ1 複数のLLMを自律的にオーケストレーションすることは、人間の介入なしにエンドツーエンドの科学実験を可能にするのか？
• RQ2 化学実験の設計と実行におけるLLM駆動エージェントの能力と限界は何か？
• RQ3 自律的な科学研究エージェントから生じる安全リスクは何か、そしてそれをどう緩和できるか？

主な発見

• 知能エージェントシステムは、科学的タスク全般にわたる自律的な設計・計画・実行を実証する。
• 最も複雑な例は、自治計画による触媒付きクロスカップリング反応の成功を示す。
• 本研究は安全性の影響を論じ、自律的研究システムの悪用を防ぐ対策を提案している。