[論文レビュー] Leveraging Chemistry Foundation Models to Facilitate Structure Focused Retrieval Augmented Generation in Multi-Agent Workflows for Catalyst and Materials Design

Nathaniel H. Park, Tiffany J. Callahan+3 more|arXiv (Cornell University)|Aug 21, 2024

Catalytic Processes in Materials ScienceMaterials Science被引用数 3

ひとこと要約

本論文は、化学基礎モデルとOpenCLIPを用いたクロスモーダル検索を活用するマルチエージェントワークフローを提案し、小分子、高分子、反応について構造に焦点を当てた意味的情報検索を可能にする。基礎モデルの潜在表現を検索拡張生成に統合することで、触媒および材料設計タスクにおける精度と効率が向上し、自然言語駆動の複雑なクエリにおいて最先端のパフォーマンスを示している。

ABSTRACT

Molecular property prediction and generative design via deep learning models has been the subject of intense research given its potential to accelerate development of new, high-performance materials. More recently, these workflows have been significantly augmented with the advent of large language models (LLMs) and systems of autonomous agents capable of utilizing pre-trained models to make predictions in the context of more complex research tasks. While effective, there is still room for substantial improvement within agentic systems on the retrieval of salient information for material design tasks. Within this context, alternative uses of predictive deep learning models, such as leveraging their latent representations to facilitate cross-modal retrieval augmented generation within agentic systems for task-specific materials design, has remained unexplored. Herein, we demonstrate that large, pre-trained chemistry foundation models can serve as a basis for enabling structure-focused, semantic chemistry information retrieval for both small-molecules, complex polymeric materials, and reactions. Additionally, we show the use of chemistry foundation models in conjunction with multi-modal models such as OpenCLIP facilitate unprecedented queries and information retrieval across multiple characterization data domains. Finally, we demonstrate the integration of these models within multi-agent systems to facilitate structure and topological-based natural language queries and information retrieval for different research tasks.

研究の動機と目的

• 材料設計におけるエージェントシステムにおける情報検索の限界、特に意味的に関連する構造的データを効果的に取得する課題を解決すること。
• 事前学習済みの化学基礎モデルの潜在表現を用いて、分子構造、反応、および分析データの間でクロスモーダル検索を実現すること。
• 分子のトポロジーと構造に基づく自然言語クエリを処理できるマルチエージェントワークフローにこれらの表現を統合すること。
• 構造に焦点を当てた埋め込み表現を用いた検索拡張生成を統合することで、材料発見における応答の関連性を向上させること。
• 基礎モデルとOpenCLIPのようなマルチモーダルモデルを組み合わせることで、材料科学における複雑な構造ベースのクエリに効果的に対応できることを実証すること。

提案手法

• 大規模な事前学習済み化学基礎モデルを用いて、分子構造、反応、高分子材料の意味的表現を抽出する。
• OpenCLIPを用いてテキストクエリと分子構造埋め込みをアライメントさせることでクロスモーダル検索を実現し、多様なデータモダリティ間での意味的検索を可能にする。
• 専門的なエージェントがクエリ解釈、検索、生成を担当するマルチエージェントシステムを設計し、基礎モデルの潜在空間を活用して精度を向上させる。
• 構造に焦点を当てた埋め込み表現を検索拡張生成（RAG）に統合し、材料設計タスクにおける応答の関連性を向上させる。
• テキストと構造的表現を異なるデータドメイン間で一致させるために、マルチモーダルな対照学習を用いて検索パイプラインを訓練および微調整する。
• 実世界の触媒および材料設計タスクにフレームワークを適用し、分子トポロジーと化学的構造に関する自然言語クエリをサポートする。

実験結果

リサーチクエスチョン

• RQ1 化学基礎モデルは、材料設計のためのマルチエージェントシステムにおける意味的で構造に焦点を当てた検索を改善できるか？
• RQ2 基礎モデルの埋め込み表現とOpenCLIPのようなマルチモーダルモデルを統合することで、材料科学におけるクロスモーダル検索の効果はどの程度高いか？
• RQ3 構造に配慮した検索は、触媒および材料設計ワークフローにおける生成出力の質をどの程度向上させるか？
• RQ4 マルチエージェントシステムは、基礎モデルの潜在表現を活用して、分子トポロジーに関する複雑な自然言語クエリを処理できるか？
• RQ5 構造に焦点を当てたRAGと基礎モデルを組み合わせることで、検索精度と生成の関連性にどの程度の向上が得られるか？

主な発見

• 化学基礎モデルからの意味的埋め込みを用いることで、小分子、高分子、反応について構造に焦点を当てた検索において、最先端のパフォーマンスを達成した。
• OpenCLIPとの統合により、赤外分光法や構造的データを含む多様な分析データドメインにわたり、前例のないクロスモーダル検索が可能になった。
• マルチエージェントワークフローは、分子トポロジーと構造に関する複雑な自然言語クエリに対して、検索の正確性と関連性を顕著に向上させた。
• 基礎モデルの埋め込み表現を用いた検索拡張生成は、より化学的に妥当で的を射た材料設計の提案を可能にした。
• 本アプローチは、複雑な高分子系や触媒材料を含む複数の材料クラスにわたり、強固な一般化性能を示した。
• 定量的評価では、構造に配慮した埋め込みを備えないベースラインRAGシステムと比較して、検索精度と生成品質に顕著な向上が確認された。