[논문 리뷰] SciAgents: Automating scientific discovery through multi-agent intelligent graph reasoning

Alireza Ghafarollahi, Markus J. Buehler|arXiv (Cornell University)|2024. 09. 09.

Semantic Web and Ontologies인용 수 6

한 줄 요약

SciAgents는 온톨로지적 지식 그래프, LLM, 현장 학습을 활용하여 자율적으로 과학 가설을 생성하고 다듬는 다중 에이전트 AI 프레임워크를 제시하며, 생체 모방 재료 설계에서 시연된다.

ABSTRACT

A key challenge in artificial intelligence is the creation of systems capable of autonomously advancing scientific understanding by exploring novel domains, identifying complex patterns, and uncovering previously unseen connections in vast scientific data. In this work, we present SciAgents, an approach that leverages three core concepts: (1) the use of large-scale ontological knowledge graphs to organize and interconnect diverse scientific concepts, (2) a suite of large language models (LLMs) and data retrieval tools, and (3) multi-agent systems with in-situ learning capabilities. Applied to biologically inspired materials, SciAgents reveals hidden interdisciplinary relationships that were previously considered unrelated, achieving a scale, precision, and exploratory power that surpasses traditional human-driven research methods. The framework autonomously generates and refines research hypotheses, elucidating underlying mechanisms, design principles, and unexpected material properties. By integrating these capabilities in a modular fashion, the intelligent system yields material discoveries, critique and improve existing hypotheses, retrieve up-to-date data about existing research, and highlights their strengths and limitations. Our case studies demonstrate scalable capabilities to combine generative AI, ontological representations, and multi-agent modeling, harnessing a `swarm of intelligence' similar to biological systems. This provides new avenues for materials discovery and accelerates the development of advanced materials by unlocking Nature's design principles.

연구 동기 및 목표

• 생체 모방 재료와 관련된 과학적 개념을 조직하고 상호 연결하기 위해 온톨로지적 지식 그래프를 활용한다.
• 여러 LLM과 데이터 도구를 통합하여 연구 가설을 자율적으로 생성하고 비판하며 다듬는다.
• 복잡한 과학적 추론에서 단일 에이전트의 한계를 극복하기 위해 다중 에이전트 구조를 활용한다.
• 지식 그래프 기반 경로를 통해 확장 가능한 가설 생성 및 평가를 시연한다.

제안 방법

• 생체 모방 재료 및 역학 분야의 약 1,000편의 논문으로부터 대규모 온톨로지적 지식 그래프를 구축한다.
• 임의 경로 샘플링을 통해 지식 그래프의 하위 그래프를 샘플링하여 가설 생성을 유도한다.
• 역할별 프롬프트를 갖춘 전문 LLM 에이전트군(온톨로지스트, Scientist_1, Scientist_2, Critic)을 사용하여 가설을 생성하고 확장한다.
• 적대적 프롬프트와 맥락 학습을 통해 가설을 비판하고 개선하며, 출력의 계층적 확장을 통해 이를 안내한다.
• 가설의 참신성을 평가하기 위해 인간-루프 상호작용 및 Semantic Scholar API와 같은 도구를 선택적으로 도입한다.
• 가설, 결과, 메커니즘, 설계 원리, 예기치 않은 특성, 비교 및 참신성을 자세히 기술한 구조화된 JSON 출력물을 생성한다.

실험 결과

연구 질문

• RQ1 다중 에이전트 AI 시스템이 지식 그래프를 활용하여 자율적으로 새로운 과학 가설을 어떻게 생성할 수 있는가?
• RQ2 지식 그래프의 임의 경로 하위 그래프 샘플링이 최단 경로 방법보다 더 다양한 영향력 있는 가설을 낳는가?
• RQ3 전문 에이전트들(Ontologist, Scientist, Critic)이 협력하여 정량적 깊이를 가진 상세하고 검증 가능한 연구 제안을 공동으로 만들어낼 수 있는가?
• RQ4 향상된 특성을 위한 천연 색소와 실크 기반 생체재료를 결합할 때 어떤 설계 원칙과 메커니즘이 나타나는가?
• RQ5 자동화 시스템이 인간-투입 피드백(Human-in-the-loop)을 통해 참신성을 평가하고 실험/모델링 우선순위를 얼마나 효과적으로 가이드할 수 있는가?

주요 결과

• 온톨로지 주도 그래프 추론과 LLM 기반 분석을 결합하여 다중 에이전트 시스템이 새로운 연구 가설을 생성할 수 있다.
• 임의 경로 그래프 샘플링은 최단 경로보다 더 풍부한 개념 기초를 제공하여 더 정교한 가설 개발을 가능하게 한다.
• Scientist_1 에이전트는 실크–색소 복합재와 같은 기계적 및 광학적 특성이 향상된 정량적이고 기전 중심의 가설을 제안할 수 있다.
• 제안된 실크–민들레 색소 복합재는 약 1.5 GPa의 인장강도와 저온 가공을 통한 약 30%의 에너지 절감을 목표로 한다.
• Critic 에이전트가 비판을 제공하고 개선점을 권고하며 제안을 검증하기 위한 주요 분자 모델링 및 실험 우선순위를 식별한다.
• 이 접근 방식은 생성형 AI, 지식 그래프, 다중 에이전트 협업을 결합한 재료 발견을 위한 확장 가능한 프레임워크를 시연한다.