[論文レビュー] ProtAgents: Protein discovery via large language model multi-agent collaborations combining physics and machine learning

Alireza Ghafarollahi, Markus J. Buehler|arXiv (Cornell University)|Jan 27, 2024

Biomedical Text Mining and Ontologies被引用数 4

ひとこと要約

ProtAgentsは、物理学に基づくシミュレーション、機械学習、知識取得を共同AIエージェントを通じて統合する、デ・ノボタンパク質設計を目的としたマルチエージェントLLMフレームワークを提示する。シーケンス生成、力の予測、振動モード解析などの専門的役割を果たすエージェントが動的に自律的かつ協働的に連携することで、望ましい機械的特性を有するタンパク質の的を射ねた設計が可能となり、力-変位曲線および自然振動数の予測において高い正確性を示した。

ABSTRACT

Designing de novo proteins beyond those found in nature holds significant promise for advancements in both scientific and engineering applications. Current methodologies for protein design often rely on AI-based models, such as surrogate models that address end-to-end problems by linking protein structure to material properties or vice versa. However, these models frequently focus on specific material objectives or structural properties, limiting their flexibility when incorporating out-of-domain knowledge into the design process or comprehensive data analysis is required. In this study, we introduce ProtAgents, a platform for de novo protein design based on Large Language Models (LLMs), where multiple AI agents with distinct capabilities collaboratively address complex tasks within a dynamic environment. The versatility in agent development allows for expertise in diverse domains, including knowledge retrieval, protein structure analysis, physics-based simulations, and results analysis. The dynamic collaboration between agents, empowered by LLMs, provides a versatile approach to tackling protein design and analysis problems, as demonstrated through diverse examples in this study. The problems of interest encompass designing new proteins, analyzing protein structures and obtaining new first-principles data -- natural vibrational frequencies -- via physics simulations. The concerted effort of the system allows for powerful automated and synergistic design of de novo proteins with targeted mechanical properties. The flexibility in designing the agents, on one hand, and their capacity in autonomous collaboration through the dynamic LLM-based multi-agent environment on the other hand, unleashes great potentials of LLMs in addressing multi-objective materials problems and opens up new avenues for autonomous materials discovery and design.

研究の動機と目的

• 目的の機械的特性を有する新しいバイオマテリアルを設計するため、膨大で未開拓のタンパク質配列空間を効果的に探索する課題に対処すること。
• 特定の目的に特化し、多様な知識源を統合する柔軟性に欠ける既存のAIモデルの限界を克服すること。
• 専門的役割を担うLLMエージェントが自律的かつ協働的に連携し、複雑で多目的なタンパク質設計問題を解く動的で柔軟なフレームワークを構築すること。
• 物理学ベースのシミュレーション（例：ANM）と知識取得（RAG）を統合し、一元的で自動化された設計パイプラインを構築すること。
• 協働的なエージェント連携を通じて、的を射ねた機械的性能を有するデ・ノボタンパク質の発見を可能にすること。

提案手法

• 各エージェントが専門的役割を担う、大規模言語モデル（LLM）を駆動とするマルチエージェントアーキテクチャを採用：シーケンスジェネレータ、力予測者、構造アナライザー、シミュレーション実行者、結果解釈者。
• 80万件の配列およびMDシミュレーションデータで微調整されたGPT風モデル、ProteinForceGPT（16ヘッド、36層、1024隠れ層サイズ）を用い、アミノ酸配列から力-変位曲線および機械的特性を予測する。
• Llama Indexを介してRetrieval-Augmented Generation（RAG）を統合し、推論中に引用文献から動的に情報を取得・抽出する。
• ProDyに実装された非等方的ネットワークモデル（ANM）を用いて自然振動モードの解析を実施し、カットオフ距離内に位置するアトム間をばねモデルとしてモデル化する。
• BioPythonを介してDSSPを用いて二次構造解析を実施し、3次元タンパク質幾何形状から構造的特徴を評価する。
• LLMを介した会話プロTOCOLを用いてエージェント間のリアルタイムで動的な協働を可能とし、結果の反復的改善および相互検証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェントLLMシステムは、的を射ねた機械的特性を有するデ・ノボタンパク質配列を、自律的かつ協働的に設計できるか？
• RQ2 専門的役割を担うLLMエージェントは、物理学ベースのシミュレーション（例：ANM）と知識取得を効果的に統合することで、予測の正確性と設計の忠実性を向上させられるか？
• RQ3 高価なシミュレーションに依存せずに、アミノ酸配列から正確な力-変位曲線および自然振動数を生成できる程度はどの程度か？
• RQ4 エージェント間の動的協働は、モノリシックなAIモデルと比較して、新しいタンパク質配列の発見をどの程度向上させるか？
• RQ5 このフレームワークは、配列生成、特性予測、構造解析といった多様なタンパク質設計タスクに一般化可能か？

主な発見

• ProteinForceGPTモデルは、タンパク質配列から力-変位曲線を予測する際に高い正確性を示した。妥当性評価結果は図S2に示す。
• システムは、予測された解離力が0.262 nNに一致するタンパク質配列を正常に生成した。微調整タスクでその有効性が実証された。
• 非等方的ネットワークモデル（ANM）を用いた自然振動モードの計算が正確に実行され、タンパク質ダイナミクスの第一原理的解析が可能になった。
• RAGの統合により、関連する科学的知識のリアルタイム取得が可能となり、エージェント生成の推論および文脈的正確性が向上した。
• マルチエージェント協働フレームワークは、配列生成、機械的特性予測、構造解析といった多様なタンパク質設計タスクにおいて、強固な性能を示した。
• LLM推論と物理学ベースのシミュレーション、データ駆動型モデルの統合により、高コストな実験的検証への依存を著しく低減した協働的設計の成果が得られた。