[論文レビュー] CACTUS: Chemistry Agent Connecting Tool-Usage to Science

Andrew McNaughton, Gautham Krishna Sankar Ramalaxmi+4 more|arXiv (Cornell University)|May 2, 2024

Various Chemistry Research Topics被引用数 5

ひとこと要約

CACTUS は、化学情報学ツールを統合したオープンソースの LLM ベースエージェントで、ドメイン固有の推論と分子発見を可能にし、化学の質問ベンチマーク全体でベースラインモデルより精度が向上していることを示しています。

ABSTRACT

Large language models (LLMs) have shown remarkable potential in various domains, but they often lack the ability to access and reason over domain-specific knowledge and tools. In this paper, we introduced CACTUS (Chemistry Agent Connecting Tool-Usage to Science), an LLM-based agent that integrates cheminformatics tools to enable advanced reasoning and problem-solving in chemistry and molecular discovery. We evaluate the performance of CACTUS using a diverse set of open-source LLMs, including Gemma-7b, Falcon-7b, MPT-7b, Llama2-7b, and Mistral-7b, on a benchmark of thousands of chemistry questions. Our results demonstrate that CACTUS significantly outperforms baseline LLMs, with the Gemma-7b and Mistral-7b models achieving the highest accuracy regardless of the prompting strategy used. Moreover, we explore the impact of domain-specific prompting and hardware configurations on model performance, highlighting the importance of prompt engineering and the potential for deploying smaller models on consumer-grade hardware without significant loss in accuracy. By combining the cognitive capabilities of open-source LLMs with domain-specific tools, CACTUS can assist researchers in tasks such as molecular property prediction, similarity searching, and drug-likeness assessment. Furthermore, CACTUS represents a significant milestone in the field of cheminformatics, offering an adaptable tool for researchers engaged in chemistry and molecular discovery. By integrating the strengths of open-source LLMs with domain-specific tools, CACTUS has the potential to accelerate scientific advancement and unlock new frontiers in the exploration of novel, effective, and safe therapeutic candidates, catalysts, and materials. Moreover, CACTUS's ability to integrate with automated experimentation platforms and make data-driven decisions in real time opens up new possibilities for autonomous discovery.

研究の動機と目的

• 化学的推論と分子発見を強化するために、ドメイン固有ツールと LLM の統合を動機づける。
• 化学の問いに対してケミ情報学ツールを選択・順序付けする拡張可能なエージェントを開発する。
• ドメイン固有のプロンプトとハードウェアの差分を用いて、オープンソースの 7B モデルの性能を評価する。
• コンシューマー向けハードウェア上で効果的なモデルを動作させる可能性を示し、普及を促進する。
• 物理ベースのモデルの統合と説明可能性の向上の将来方向性を概説する。

提案手法

• LangChain を用いて、ツール、LLMChain、ゼロショットエージェントを ReAct フレームワーク内で組み込んだ MRKL 風エージェントを実装する。
• RDKit、SciPy、およびデータベース（PubChem、ChEMBL、ZINC）を SMILES ベースの分析のためのドメイン特化ツールとしてラップする。
• プロモータを定義する：Minimal か Domain Prompt の比較を行い、ドメイン理解と精度への影響を評価する。
• 1000 問のケミ情報学質問を 10 ツールで質的・量的・全セットのデータでベンチマークする。
• 複数の 7B-オープンソースモデル（Gemma-7b、Falcon-7b、MPT-7b、Llama2-7b、Mistral-7b、Phi2、OLMo-1b）を GPU（A100、V100、RTX 2080 Ti）で評価する。
• ハードウェア、プロンプト戦略、およびモデル性能を調査して、デプロイのトレードオフを特定する。

実験結果

リサーチクエスチョン

• RQ1 LLM で動作するエージェントは、化学の質問に答えるためにケミ情報学ツールを最適に選択・組成するにはどうすればよいか。
• RQ2 ケミ情報学タスクにおけるオープンソースの 7B モデルの精度と速度に対するドメイン特化プロンプトの影響は何か。
• RQ3 コンシューマーグレードのハードウェア上の小規模モデルは分子特性予測タスクで競争力のある精度を達成できるか。
• RQ4 化学ワークフローへのツール拡張 LLM のデプロイにおける実務的な課題と解決策は何か。
• RQ5 CACTUS に高度な物理ベースおよび象徴的推論コンポーネントを統合して自律的発見を実現する展望は何か。

主な発見

• CACTUS は 1000 問のケミ情報学ベンチマークを 10 工具にまたがってベースライン LLM を上回る。
• Gemma-7b と Mistral-7b は、プロンプト戦略に関係なく最高の精度を達成する。
• ドメインプロンプトは質的質問の精度をミニマルなプロンプトよりも向上させるが、モデル間で効果はまちまちである。
• Phi2 や OLMo-1b のような小型モデルは、ドメインプロンプトを用いれば、コンシューマーグレードのハードウェア上で有効である。
• ドメインプロンプトは多くのモデルで推論を速め、精度を高める傾向があるが、例外もある。
• 最適化されたデプロイメント（例：vLLM）と適切なプロンプトを組み合わせると、オープンソースモデルをコンシューマーハードウェアで合理的な性能で展開可能。