[논문 리뷰] MDCrow: Automating Molecular Dynamics Workflows with Large Language Models

Quintina L. Campbell, Sam Cox외 3명|ArXiv.org|2025. 02. 13.

Machine Learning in Materials Science인용 수 14

한 줄 요약

MDCrow는 40+ MD 관련 유틸리티 도구 집합을 사용하여 분자역학 워크플로를 자율적으로 자동화하는 LLM 주도 에이전트이며, 25개의 작업 및 여러 기본 모델에 걸쳐 평가되었습니다. gpt-4o와 llama3-405b에서 강력한 성능을 보이고, 더 큰 모델에 대해 프롬프트 스타일에 대한 강건성도 보입니다.

ABSTRACT

Molecular dynamics (MD) simulations are essential for understanding biomolecular systems but remain challenging to automate. Recent advances in large language models (LLM) have demonstrated success in automating complex scientific tasks using LLM-based agents. In this paper, we introduce MDCrow, an agentic LLM assistant capable of automating MD workflows. MDCrow uses chain-of-thought over 40 expert-designed tools for handling and processing files, setting up simulations, analyzing the simulation outputs, and retrieving relevant information from literature and databases. We assess MDCrow's performance across 25 tasks of varying required subtasks and difficulty, and we evaluate the agent's robustness to both difficulty and prompt style. exttt{gpt-4o} is able to complete complex tasks with low variance, followed closely by exttt{llama3-405b}, a compelling open-source model. While prompt style does not influence the best models' performance, it has significant effects on smaller models.

연구 동기 및 목표

• 설정에서 분석까지 MD 워크플로를 완료할 수 있는 완전한 자율 LLM-에이전트(MDCrow)를 시연한다.
• 난이도와 하위 작업이 다른 과제들에 걸친 MDCrow의 성능을 평가한다.
• 다른 프롬프트 스타일과 기본 LLM 선택에 대한 MDCrow의 강건성을 평가한다.
• 기준선과 MDCrow를 비교하고 문헌 검색 능력과 장시간 시뮬레이션 관리 능력을 분석한다.

제안 방법

• LangChain을 사용한 ReAct 스타일 프롬프트와 40개가 넘는 특수 MD 도구를 활용하여 MDCrow를 LLM 에이전트로 구성한다.
• 도구를 정보 검색, PDB 및 단백질 처리, 시뮬레이션, 분석으로 분류한다.
• 시뮬레이션 설정, 실행 및 분석을 위해 OpenMM 및 MDTraj 기반 워크플로를 사용하고, 적응을 위한 Python 스크립트를 생성한다.
• 세션을 재개하기 위한 체크포인트 디렉토리에 실행 맥락과 파일을 저장하는 채팅-이력(대화 로그) 기반의 재개 기능을 구현한다.
• 다양한 하위 작업과 다수의 기본 LLM(gpt-3.5-turbo, gpt-4-turbo, gpt-4o, llama, Claude)에 대해 25개의 프롬프트에서 성능을 평가한다.
• Python REPL을 활용한 ReAct 기준선과 단일 질의 LLM과 MDCrow를 비교한다.

Figure 1: A. MDCrow workflow. Starting with a user prompt and initialized with a set of MD tools, MDCrow follows a chain-of-thought process until it completes all tasks in the prompt. The final output includes a response, along with all resulting analyses and files. B . The tool distribution categor

실험 결과

연구 질문

• RQ1 MDCrow가 데이터 수집에서 분석까지 MD 워크플로를 자율적으로 완수할 수 있는가?
• RQ2 작업 복잡도(하위 작업 수)와 다른 기본 LLM에 따라 MDCrow의 성능은 어떻게 달라지는가?
• RQ3 프롬프트 스타일 변형과 모델 유형에 대해 MDCrow의 강건성은 어느 정도인가?
• RQ4 MD 작업을 완수하고 파일 관리 및 오류를 처리하는 데 있어 MDCrow가 기준선 접근 방식보다 더 우수한가?
• RQ5 대화 기능을 통해 명시된 도구 세트를 벗어난 작업으로 MDCrow가 어느 정도 추론 확장이 가능한가?

주요 결과

• MDCrow는 대부분의 작업을 완료하며, gpt-4o를 사용할 때 가장 높은 성능을 보이고 기준선보다 더 높은 정확도와 완료된 하위 작업 수를 달성한다.
• 오픈 소스인 llama3-405b는 강력한 성능과 강건성으로 매력적인 대안을 제공한다.
• 성능은 일반적으로 작업 복잡도가 증가할수록 약한 모델에서 감소하는 반면, gpt-4o와 llama-405b는 하위 작업 전반에서 안정적인 성능을 보인다.
• 프롬프트 스타일은 작은 모델에 크게 영향을 미치지만, 최상위 모델에는 영향이 적다.
• 최적화된 설정의 MDCrow는 평가에서 약 72%의 작업 정확도에 도달하며, 강력한 모델의 경우 지시문 스타일의 변화에 대해 시스템이 강건하다.

Figure 2: Example Chat Example of chat with MDCrow. The user first asks to download PDB files for two systems. Then, once MDCrow has completed this task, the user asks for analysis of the files. Next, the user asks for a quick 10 ps simulation of both files, and MDCrow saves all files for later hand