[논문 리뷰] Large Language Models for Automated Open-domain Scientific Hypotheses Discovery

Zonglin Yang, Xinya Du외 4명|arXiv (Cornell University)|2023. 09. 06.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 자연어 처리(NLP) 분야에서 사회과학 분야의 자동화된 개방형 과학적 가설 발견을 위한 첫 번째 작업인 TOMATO를 소개한다. 이 작업은 원시 웹 코퍼스를 사용하여 새로운, 타당하며 유용한 가설을 생성한다. 제안된 MOOSE 프레임워크는 세 가지 새로운 피드백 메커니즘—현재 피드백, 과거 피드백, 미래 피드백—을 갖춘 다중 모듈 LLM 파이프라인을 활용하여 가설 생성을 반복적으로 정교화하며, GPT-4 평가와 전문가 평가 모두에서 높은 성능을 기록한다. 가설은 신선도와 실제 연구가치 측면에서 높게 평가받는다.

ABSTRACT

Hypothetical induction is recognized as the main reasoning type when scientists make observations about the world and try to propose hypotheses to explain those observations. Past research on hypothetical induction is under a constrained setting: (1) the observation annotations in the dataset are carefully manually handpicked sentences (resulting in a close-domain setting); and (2) the ground truth hypotheses are mostly commonsense knowledge, making the task less challenging. In this work, we tackle these problems by proposing the first dataset for social science academic hypotheses discovery, with the final goal to create systems that automatically generate valid, novel, and helpful scientific hypotheses, given only a pile of raw web corpus. Unlike previous settings, the new dataset requires (1) using open-domain data (raw web corpus) as observations; and (2) proposing hypotheses even new to humanity. A multi-module framework is developed for the task, including three different feedback mechanisms to boost performance, which exhibits superior performance in terms of both GPT-4 based and expert-based evaluation. To the best of our knowledge, this is the first work showing that LLMs are able to generate novel (''not existing in literature'') and valid (''reflecting reality'') scientific hypotheses.

연구 동기 및 목표

• 기존의 가설 유도 작업이 수동으로 캐디드한 관찰과 일반 지식에 의존하는 데에 한계가 있음을 고려하여, 원시 웹 코퍼스를 사용하고 인간에게 새로운 가설을 요구하는 새로운 작업을 제안한다.
• 사회과학 분야의 가설 발견을 위한 첫 번째 NLP 데이터셋을 구축한다. 이 데이터셋은 상위 저널에서 발표된 최근 50篇의 논문, 해당 논문의 원시 웹 코퍼스, 전문가가 애너테이션한 배경 및 영감 자료를 포함한다.
• 사람이 제공한 관찰 또는 가설 없이 원시 웹 코퍼스에서 자동으로 가설을 생성할 수 있는 다중 모듈 LLM 프레임워크인 MOOSE를 개발한다.
• 세 가지 새로운 피드백 메커니즘—현재, 과거, 미래 피드백—을 설계하고 평가하여, LLM을 활용한 반복적 정교화를 통해 가설 품질을 향상시키는 방법을 제시한다.

제안 방법

• MOOSE 프레임워크는 원시 웹 코퍼스를 처리하여 구조적이고 모듈화된 방식으로 과학적 가설을 생성하는 다중 모듈 LLM 파이프라인이다.
• 현재 피드백은 한 모듈이 자신의 생성 결과에 대해 다른 LLM의 피드백을 활용하여 즉각적인 자기 수정을 가능하게 한다.
• 과거 피드백은 후속 모듈를 위한 피드백을 이전 모듈가 활용할 수 있도록 하여 품질 향상의 역방향 전파를 가능하게 한다.
• 미래 피드백은 현재 모듈이 후속 모듈의 출력을 향상시키기 위해 정당화 근거나 초안 제안을 생성함으로써 영향을 미치도록 한다.
• 이 프레임워크는 이러한 피드백 메커니즘을 LLM 기반 모듈 체인에 통합하여, 각 모듈이 가설 생성 및 정교화의 특정 단계를 담당하도록 구성한다.
• 시스템 평가는 GPT-4 기반 자동 평가와 사회과학 연구자들이 수행한 전문가 평가(타당성, 신선도, 유용성 기준)를 통해 이루어진다.

Figure 1: Overview of the new task setting of hypothetical induction and the role of our proposed MOOSE framework.

실험 결과

연구 질문

• RQ1 사람이 제공한 관찰이나 가설 없이 원시 웹 코퍼스만을 제공받는 대규모 언어 모델이 사회과학 분야에서 새로운, 타당하며 유용한 과학적 가설을 생성할 수 있는가?
• RQ2 기본 모델 대비 현재, 과거, 미래 피드백 등 다양한 피드백 메커니즘이 LLM 기반 가설의 품질 향상에 얼마나 효과적인가?
• RQ3 GPT-4 평가가 과학적 가설의 품질 평가에서 인간 전문가 평가와 얼마나 관련이 있는가?
• RQ4 MOOSE와 같은 프레임워크는 실제 연구에서 관찰되는 조절 효과와 매개 효과를 모두 포괄하는 새로운 가설을 생성할 수 있는가?
• RQ5 피드백 메커니즘의 통합이 다중 반복 과정에서 가설 품질 향상에 어떻게 점진적으로 기여하는가?

주요 결과

• MOOSE 프레임워크는 GPT-4 평가와 사회과학 전문가 평가 모두에서 타당성, 신선도, 유용성의 모든 지표에서 LLM 기반 기준 모델을 뛰어넘는 성능을 기록한다.
• 세 가지 피드백 메커니즘—현재, 과거, 미래 피드백—모두 기본 프레임워크 대비 점진적인 가설 품질 향상을 이끌었으며, 전체 피드백 체인을 적용한 경우 최고의 성능을 기록했다.
• 전문가 평가 결과, MOOSE가 생성한 많은 가설들이 타당하고, 새로운 것으로 평가되었으며, 현재 진행 중인 연구에 매우 유용한 것으로 확인되었으며, 몇몇은 신선도와 타당성에서 5/5의 점수를 기록했다.
• GPT-4 평가 결과는 인간 전문가 평가와 높은 일致성을 보였으며, 소프트 일致성 점수는 0.8 이상, 5점 척도에서 평균 차이가 1점 미만이었고, 이는 GPT-4가 가설 평가에서 신뢰할 수 있음을 시사한다.
• 정성적 분석 결과, MOOSE가 생성한 가설은 주효과, 조절 변수, 매개 메커니즘 등 복잡한 구조를 자주 포함하고 있어 과학적 성숙도가 높음을 반영한다.
• 데이터셋과 코드는 https://github.com/ZonglinY/MOOSE.git 에 공개되어 있어 향후 재현 및 개방형 과학적 가설 발견 분야의 벤치마킹에 기여할 수 있다.

Figure 2: Selected hypothesis in social science publication.