[論文レビュー] MDCrow: Automating Molecular Dynamics Workflows with Large Language Models

Quintina L. Campbell, Sam Cox+3 more|ArXiv.org|Feb 13, 2025

Machine Learning in Materials Science被引用数 14

ひとこと要約

MDCrowは、40以上のMD関連ツールのツールセットを用いて自律的に分子動力学ワークフローを自動化するLLM駆動エージェントである。25のタスクと複数のベースモデルに跨って評価されている。gpt-4oとllama3-405bで強力な性能を示し、より大きなモデルに対するプロンプトスタイルのロバスト性も示している。

ABSTRACT

Molecular dynamics (MD) simulations are essential for understanding biomolecular systems but remain challenging to automate. Recent advances in large language models (LLM) have demonstrated success in automating complex scientific tasks using LLM-based agents. In this paper, we introduce MDCrow, an agentic LLM assistant capable of automating MD workflows. MDCrow uses chain-of-thought over 40 expert-designed tools for handling and processing files, setting up simulations, analyzing the simulation outputs, and retrieving relevant information from literature and databases. We assess MDCrow's performance across 25 tasks of varying required subtasks and difficulty, and we evaluate the agent's robustness to both difficulty and prompt style. \texttt{gpt-4o} is able to complete complex tasks with low variance, followed closely by \texttt{llama3-405b}, a compelling open-source model. While prompt style does not influence the best models' performance, it has significant effects on smaller models.

研究の動機と目的

• 完全に自律的なLLMエージェント（MDCrow）を示し、MDワークフローをセットアップから解析まで完了できること。
• 難易度とサブタスクが異なるタスクを横断してMDCrowの性能を評価する。
• 異なるプロンプトスタイルとベースLLMの選択に対するMDCrowの堅牢性を評価する。
• ベースラインとMDCrowを比較し、文献取得と長時間実行のシミュレーション管理能力を分析する。

提案手法

• LangChainを用いたReAct風プロンプトと40超の専門MDツールを組み合わせて、MDCrowをLLMエージェントとして構築する。
• ツールを情報検索、PDB・タンパク質処理、シミュレーション、解析に分類する。
• シミュレーション設定、実行、解析にはOpenMMとMDTrajベースのワークフローを使用し、適応のためのPythonスクリプトを生成する。
• セッションを再開するためにチェックポイントディレクトリに実行コンテキストとファイルを保存するチャット再開機能を実装する。
• 25のプロンプトを難易度の異なるサブタスクと複数のベースLLMs（gpt-3.5-turbo, gpt-4-turbo, gpt-4o, llama, Claude）で評価する。
• MDCrowをReActベースライン（Python REPL）および単一クエリLLMと比較する。

Figure 1: A. MDCrow workflow. Starting with a user prompt and initialized with a set of MD tools, MDCrow follows a chain-of-thought process until it completes all tasks in the prompt. The final output includes a response, along with all resulting analyses and files. B . The tool distribution categor

実験結果

リサーチクエスチョン

• RQ1 MDCrowはデータ取得から解析までMDワークフローを自律的に完了できるか？
• RQ2 タスクの複雑さ（サブタスク数）や異なるベースLLMによってMDCrowの性能はどのように変化するか？
• RQ3 プロンプトスタイルの変化やモデルタイプに対してMDCrowはどれだけ堅牢か？
• RQ4 MDCrowはベースラインアプローチを上回ってMDタスクの完遂とファイル管理・エラー処理を行えるか？
• RQ5 MDCrowは明示的なツールセット外のタスクへどの程度までチャット機能で推測・拡張できるか？

主な発見

• MDCrowは大半のタスクを完了し、最も優れた性能はgpt-4oを使用、ベースラインより高い精度とサブタスク完了率を達成。
• オープンソースのllama3-405bは強力な性能と堅牢性を備えた説得力のある代替手段を提供。
• より弱いモデルではタスクの複雑さとともに性能が一般に低下する一方、gpt-4oとllama-405bはサブタスク間で安定した性能を示す。
• プロンプトスタイルは小型モデルに大きく影響するが、上位モデルには影響が少ない。
• 最適化された設定のMDCrowは評価で約72%のタスク精度に達し、強力なモデルに対して指示スタイルの変化に対してロバストである。

Figure 2: Example Chat Example of chat with MDCrow. The user first asks to download PDB files for two systems. Then, once MDCrow has completed this task, the user asks for analysis of the files. Next, the user asks for a quick 10 ps simulation of both files, and MDCrow saves all files for later hand