[논문 리뷰] Large Language Models are Zero Shot Hypothesis Proposers

Biqing Qi, Kaiyan Zhang외 5명|arXiv (Cornell University)|2023. 11. 10.

Artificial Intelligence in Healthcare and Education인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 생물의학 문헌을 기반으로 한 제로샷 설정에서 과학적으로 타당하고 새로운 가설을 생성할 수 있는지 조사한다. 연구는 학습용과 테스트용으로 시간 순서에 따라 분할된 데이터셋을 구축하고, 역할 기반 협업을 하는 다중 에이전트 프레임워크(분석가, 엔지니어, 과학자, 비평가)를 도입하며, 특히 불확실성을 높일 경우 LLM이 훈련되지 않은 가설을 제안할 수 있음을 발견하여 LLM이 과학적 발견의 촉매제가 될 수 있음을 시사한다.

ABSTRACT

Significant scientific discoveries have driven the progress of human civilisation. The explosion of scientific literature and data has created information barriers across disciplines that have slowed the pace of scientific discovery. Large Language Models (LLMs) hold a wealth of global and interdisciplinary knowledge that promises to break down these information barriers and foster a new wave of scientific discovery. However, the potential of LLMs for scientific discovery has not been formally explored. In this paper, we start from investigating whether LLMs can propose scientific hypotheses. To this end, we construct a dataset consist of background knowledge and hypothesis pairs from biomedical literature. The dataset is divided into training, seen, and unseen test sets based on the publication date to control visibility. We subsequently evaluate the hypothesis generation capabilities of various top-tier instructed models in zero-shot, few-shot, and fine-tuning settings, including both closed and open-source LLMs. Additionally, we introduce an LLM-based multi-agent cooperative framework with different role designs and external tools to enhance the capabilities related to generating hypotheses. We also design four metrics through a comprehensive review to evaluate the generated hypotheses for both ChatGPT-based and human evaluations. Through experiments and analyses, we arrive at the following findings: 1) LLMs surprisingly generate untrained yet validated hypotheses from testing literature. 2) Increasing uncertainty facilitates candidate generation, potentially enhancing zero-shot hypothesis generation capabilities. These findings strongly support the potential of LLMs as catalysts for new scientific discoveries and guide further exploration.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)이 피팅 튜닝 없이 제로샷 설정에서 과학적으로 타당한 가설을 생성할 수 있는지 조사하는 것.
• 급격하게 증가하는 생물의학 문헌으로 인해 발생하는 정보 사각지대와 과학적 발견의 지연 문제를 해결하는 것.
• 엄격한 제로샷 평가를 가능하게 하기 위해 배경 지식과 가설 쌍으로 구성된 시간 순서 기반 데이터셋을 구축하는 것.
• 역할 기반 에이전트(분석가, 엔지니어, 과학자, 비평가)를 포함한 다중 에이전트 협업 프레임워크를 설계하고 평가하여 가설 생성 품질을 향상시키는 것.
• LLM 및 인간 평가 모두에 적용 가능한 네 가지 새로운 평가 지표(신규성, 관련성, 중요도, 검증 가능성)를 개발하고 검증하는 것.

제안 방법

• 2000년 1월부터 2023년 9월까지의 문헌에서 생물의학 데이터셋을 구축하고, 출판 일자를 기준으로 학습 세트(2023년 1월 이전), 본인 확인 세트(2023년 1월~7월), 테스트 세트(2023년 8월~9월)로 분할하였다.
• 미리 훈련된 지도형 LLM(예: GPT-4 및 피팅 튜닝된 LLaMA 포함)을 제로샷, 희소샷, 피팅 튜닝 설정에서 테스트 세트를 사용해 평가하였다.
• 다음 역할을 포함하는 다중 에이전트 협업 프레임워크를 설계하였다: 분석가(핵심 개념 추출), 엔지니어(체계적 문헌 검색 수행), 과학자(가설 수립), 비평가(가설 평가 및 개선).
• 에이전트 간의 반복 피드백 루프를 통해 가설을 정교화하였으며, 구조화된 프롬프트와 역할 기반 지침을 통해 협업을 이끌었다.
• GPT-4를 심판으로 사용하여 표준화된 단계별 프롬프트를 적용해 일관성을 확보하고, 네 가지 평가 지표(신규성, 관련성, 중요도, 검증 가능성)를 정의하였다.
• 다중 에이전트 협업을 통한 불확실성 조절을 통해 제로샷 생성에서 가설의 다양성과 품질에 미치는 영향을 탐구하였다.

Figure 1 : Illustrating an generated hypothesis utilizing the fine-tuned 65B LLaMA within our constructed datasets, which closely match the findings in existing literature.

실험 결과

연구 질문

• RQ1 LLMs는 테스트 데이터에 노출되지 않은 상태에서 제로샷 설정에서 과학적으로 타당하고 새로운 가설을 생성할 수 있는가?
• RQ2 가설 생성 중 불확실성을 높일 경우, 생성된 가설의 다양성과 품질은 어떻게 영향을 받는가?
• RQ3 단일 에이전트 프롬프팅 대비 다중 에이전트 협업 프레임워크는 가설 품질을 얼마나 향상시키는가?
• RQ4 다양한 LLM 아키텍처와 피팅 튜닝 전략은 제로샷 가설 생성 성능에서 어떻게 비교되는가?
• RQ5 외부 도구(예: 검색)와 희소샷 예시는 모델의 제로샷 가설 생성에서 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• LLMs는 훈련되지 않은 상태에서도 제로샷 설정에서 검증된 과학적 가설을 생성할 수 있으며, 이는 과학적 발견의 촉매제로서의 잠재력을 보여준다.
• 다중 에이전트 협업을 통한 불확실성 증가는 가설 생성의 다양성을 높이고 제로샷 성능을 향상시키며, 이는 불확실성이 창의성에 기여함을 시사한다.
• 외부 도구 사용과 희소샷 피팅 튜닝은 불확실성을 감소시켜 모델의 탐색 공간을 제한함으로써 가설 생성 품질을 떨어뜨릴 수 있다.
• 다중 에이전트 프레임워크는 역할 기반 기여와 피드백 루프를 통해 반복적인 정교화를 가능하게 하여 가설 품질을 크게 향상시킨다.
• GPT-4를 사용해 신규성, 관련성, 중요도, 검증 가능성 지표를 평가하는 제안된 평가 프레임워크는 LLM이 생성한 가설을 평가하는 데 신뢰성 있고 일관된 방법을 제공한다.
• 피팅 튜닝된 65B LLaMA 모델은 기존 문헌의 발견과 유사한 가설을 성공적으로 생성하여 프레임워크의 효과성을 검증하였다.

Figure 2 : The iterative experimental loop of scientific discovery: observations and data accumulated from past experiments are analyzed and used to generate new hypotheses, and in turn new experiments that will yield new data to continue to cycle. In this paper, we mainly focus on investigating whe