[논문 리뷰] Emergent autonomous scientific research capabilities of large language models

Daniil A. Boiko, Robert MacKnight외 1명|arXiv (Cornell University)|2023. 04. 11.

Topic Modeling인용 수 74

한 줄 요약

논문은 자율적으로 과학 실험을 설계, 계획 및 수행하도록 여러 대형 언어 모델을 조합하는 Intelligent Agent 시스템을 제시하고, 촉매적 교차 결합 반응을 포함하며 안전 고려사항을 논의한다.

ABSTRACT

Transformer-based large language models are rapidly advancing in the field of machine learning research, with applications spanning natural language, biology, chemistry, and computer programming. Extreme scaling and reinforcement learning from human feedback have significantly improved the quality of generated text, enabling these models to perform various tasks and reason about their choices. In this paper, we present an Intelligent Agent system that combines multiple large language models for autonomous design, planning, and execution of scientific experiments. We showcase the Agent's scientific research capabilities with three distinct examples, with the most complex being the successful performance of catalyzed cross-coupling reactions. Finally, we discuss the safety implications of such systems and propose measures to prevent their misuse.

연구 동기 및 목표

• 대형 언어 모델의 자율적 과학 연구 능력을 동기 부여하고 시연한다.
• Intelligent Agent가 엔드-투-엔드 실험 설계 및 실행을 위해 다수의 LLM을 조정하는 방법을 보여준다.
• 화학 및 관련 분야 전반의 응용 사례를 설명한다.
• 오용을 방지하기 위한 안전 위험과 완화 전략을 논의한다.

제안 방법

• 여러 대형 언어 모델을 조정하는 Intelligent Agent 시스템을 제안한다.
• 과학 실험의 자율적 설계, 계획 및 실행을 시연한다.
• 복잡한 촉매 교차 결합 반응을 포함한 세 가지 예시 작업을 제시한다.
• 안전 영향 및 오용에 대한 예방 조치를 논의한다.

실험 결과

연구 질문

• RQ1 자율적 다 LLM의 조정이 사람의 개입 없이 엔드투엔드 과학 실험을 가능하게 할 수 있는가?
• RQ2 LLM 주도 에이전트의 화학 실험 설계 및 실행에서의 능력과 한계는 무엇인가?
• RQ3 자율적 과학 연구 에이전트에서 어떤 안전 위험이 발생하며 이를 어떻게 완화할 수 있는가?

주요 결과

• Intelligent Agent 시스템이 과학적 작업 전반에 걸쳐 자율적 설계, 계획 및 실행을 시연한다.
• 가장 복잡한 예에서는 자율 계획을 통해 촉매 교차 결합 반응의 성공을 보여준다.
• 이 연구는 안전 영향에 대해 논의하고 자율 연구 시스템의 오용을 방지하기 위한 조치를 제안한다.