[논문 리뷰] Leveraging Chemistry Foundation Models to Facilitate Structure Focused Retrieval Augmented Generation in Multi-Agent Workflows for Catalyst and Materials Design

Nathaniel H. Park, Tiffany J. Callahan외 3명|arXiv (Cornell University)|2024. 08. 21.

Catalytic Processes in Materials ScienceMaterials Science인용 수 3

한 줄 요약

이 논문은 소분자, 고분자 및 반응에 대해 구조 중심의 의미 정보 검색을 가능하게 하기 위해 화학 기초 모델과 OpenCLIP를 통한 다중 모odal 검색을 활용하는 다에이전트 워크플로우를 소개한다. 기초 모델의 잠재 표현을 검색 증강 생성에 통합함으로써 촉매 및 재료 설계 작업에서 정확도와 효율성이 향상되었으며, 자연어 기반의 복잡한 쿼리에서 최신 기술 수준의 성능을 입증하였다.

ABSTRACT

Molecular property prediction and generative design via deep learning models has been the subject of intense research given its potential to accelerate development of new, high-performance materials. More recently, these workflows have been significantly augmented with the advent of large language models (LLMs) and systems of autonomous agents capable of utilizing pre-trained models to make predictions in the context of more complex research tasks. While effective, there is still room for substantial improvement within agentic systems on the retrieval of salient information for material design tasks. Within this context, alternative uses of predictive deep learning models, such as leveraging their latent representations to facilitate cross-modal retrieval augmented generation within agentic systems for task-specific materials design, has remained unexplored. Herein, we demonstrate that large, pre-trained chemistry foundation models can serve as a basis for enabling structure-focused, semantic chemistry information retrieval for both small-molecules, complex polymeric materials, and reactions. Additionally, we show the use of chemistry foundation models in conjunction with multi-modal models such as OpenCLIP facilitate unprecedented queries and information retrieval across multiple characterization data domains. Finally, we demonstrate the integration of these models within multi-agent systems to facilitate structure and topological-based natural language queries and information retrieval for different research tasks.

연구 동기 및 목표

• 재료 설계를 위한 에이전트 시스템 내에서 의미적으로 관련된 구조적 데이터를 검색하는 데에 발생하는 한계를 해결하기 위해.
• 사전 훈련된 화학 기초 모델의 잠재 표현을 활용하여 분자 구조, 반응 및 특성 데이터 간의 다중 모달 검색을 탐색하기 위해.
• 분자 구조 및 토폴로지 기반의 자연어 쿼리에 대응할 수 있도록 전문화된 에이전트 워크플로우에 이러한 표현을 통합하기 위해.
• 기초 모델의 구조 중심 잠재 표현을 활용해 검색 증강 생성을 개선함으로써 재료 발견 과정에서 관련성 있는 응답을 향상시키기 위해.
• 기초 모델과 OpenCLIP와 같은 다중 모달 모델을 결합하여 재료 과학 분야의 복잡한 구조 기반 쿼리에서의 효과를 입증하기 위해.

제안 방법

• 대규모 사전 훈련된 화학 기초 모델을 사용하여 분자 구조, 반응 및 고분자 재료의 의미적 표현을 추출한다.
• OpenCLIP를 활용해 텍스트 쿼리와 분자 구조 임베딩을 정렬함으로써 다중 모달 검색을 수행하여 다양한 데이터 모odal 간 의미 검색을 가능하게 한다.
• 전문 에이전트가 쿼리 해석, 검색 및 생성을 담당하는 다에이전트 시스템을 설계하며, 기초 모델의 잠재 공간을 활용해 정확도를 높인다.
• 기초 모델의 구조 중심 임베딩과 검색 증강 생성(RAG)을 통합하여 재료 설계 과제에서 응답의 관련성을 향상시킨다.
• 다양한 데이터 도메인 간의 텍스트 및 구조적 표현을 정렬하기 위해 다중 모달 대비 학습을 사용해 검색 파이프라인을 훈련 및 미세 조정한다.
• 실제 촉매 및 재료 설계 과제에 프레임워크를 적용하여 분자 토폴로지 및 화학 구조에 관한 자연어 쿼리를 지원한다.

실험 결과

연구 질문

• RQ1 화학 기초 모델은 다에이전트 시스템에서 재료 설계를 위한 의미적이고 구조 중심의 검색을 향상시킬 수 있는가?
• RQ2 기초 모델의 임베딩을 OpenCLIP와 같은 다중 모달 모델과 통합할 경우 재료 과학 분야에서의 다중 모달 검색에 얼마나 효과적인가?
• RQ3 구조 인식 검색은 촉매 및 재료 설계 워크플로우에서 생성 출력의 품질을 어느 정도 향상시키는가?
• RQ4 다에이전트 시스템은 기초 모델의 잠재 표현을 활용해 분자 토폴로지에 관한 복잡한 자연어 쿼리를 처리할 수 있는가?
• RQ5 기초 모델을 사용한 구조 중심 RAG를 적용했을 때 검색 정확도와 생성 관련성에서 어떤 성능 향상이 이루어지는가?

주요 결과

• 화학 기초 모델의 의미 임베딩을 사용하여 소분자, 고분자 및 반응에 대해 구조 중심 검색에서 최신 기술 수준의 성능을 달성하였다.
• OpenCLIP와의 통합을 통해 스펙트로스코픽 및 구조적 데이터를 포함한 다양한 특성 데이터 도메인 간에 예상치 못한 다중 모달 검색이 가능해졌다.
• 다에이전트 워크플로우가 복잡한 자연어 쿼리에 대한 분자 토폴로지 및 구조에 관한 검색 정확도와 관련성을 크게 향상시켰다.
• 기초 모델의 임베딩을 사용한 검색 증강 생성은 더 화학적으로 타당하고 목표에 맞는 재료 설계 제안을 이끌어냈다.
• 이러한 접근법은 복잡한 고분자 시스템과 촉매 재료를 포함한 다양한 재료 클래스에 걸쳐 강건한 일반화 능력을 보였다.
• 정량적 평가 결과, 구조 인식 임베딩이 없는 기존 RAG 시스템 대비 검색 정밀도와 생성 품질에서 측정 가능한 향상이 있었다.