[論文レビュー] Large Language Models for Automated Open-domain Scientific Hypotheses Discovery

Zonglin Yang, Xinya Du+4 more|arXiv (Cornell University)|Sep 6, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、自然言語処理（NLP）の分野において、社会科学分野における自動的・オープンドメインの科学的仮説発見のための最初のタスクであるTOMATOを紹介する。本研究では、生のウェブコーパスを用いて、新規性・妥当性・有用性を備えた仮説を生成する。提案されたMOOSEフレームワークは、三つの新規なフィードバックメカニズム—現在のフィードバック、過去のフィードバック、将来のフィードバック—を備えたマルチモジュールLLMパイプラインであり、仮説生成を段階的に改善することで、GPT-4評価および専門家評価の両方で優れた性能を達成した。仮説は新規性および実用的科学研究価値の観点で高く評価された。

ABSTRACT

Hypothetical induction is recognized as the main reasoning type when scientists make observations about the world and try to propose hypotheses to explain those observations. Past research on hypothetical induction is under a constrained setting: (1) the observation annotations in the dataset are carefully manually handpicked sentences (resulting in a close-domain setting); and (2) the ground truth hypotheses are mostly commonsense knowledge, making the task less challenging. In this work, we tackle these problems by proposing the first dataset for social science academic hypotheses discovery, with the final goal to create systems that automatically generate valid, novel, and helpful scientific hypotheses, given only a pile of raw web corpus. Unlike previous settings, the new dataset requires (1) using open-domain data (raw web corpus) as observations; and (2) proposing hypotheses even new to humanity. A multi-module framework is developed for the task, including three different feedback mechanisms to boost performance, which exhibits superior performance in terms of both GPT-4 based and expert-based evaluation. To the best of our knowledge, this is the first work showing that LLMs are able to generate novel (''not existing in literature'') and valid (''reflecting reality'') scientific hypotheses.

研究の動機と目的

• 従来の仮説誘導タスクが手動で整備された観察データや一般常識知識に依存するという限界を是正するため、人間にとって新規な仮説を必要とする、生のウェブコーパスを用いた新しいタスクを提案すること。
• 社会科学分野の仮説発見のための最初のNLPデータセットを構築すること。このデータセットには、トップジャーナルの50編の最近論文に加え、それらの生のウェブコーパス、および専門家がアノテートした背景情報とインスピレーションが含まれる。
• 人為的に提供された観察データや仮説が一切不要な、マルチモジュールLLMフレームワークMOOSEを開発すること。
• 仮説品質の向上を段階的な改善によって実現する三つの新規なフィードバックメカニズム—現在のフィードバック、過去のフィードバック、将来のフィードバック—を設計・評価すること。

提案手法

• MOOSEフレームワークは、生のウェブコーパスを処理し、構造的・モジュラーな方法で科学的仮説を生成するマルチモジュールLLMパイプラインである。
• 現在のフィードバックは、LLMが自身の出力を別のLLMからのフィードバックを用いて即座に修正することで、自己補正を可能にする。
• 過去のフィードバックは、後続のモジュール向けに意図されたフィードバックを現在のモジュールが活用できることで、品質改善の逆伝播を可能にする。
• 将来のフィードバックは、現在のモジュールが下流モジュールの出力を支援するための根拠や初期提案を生成することで、その出力を強化する。
• このフレームワークは、各モジュールが仮説生成と精錬の異なる段階を担当するLLMベースのモジュールチェーンに、これらのフィードバックメカニズムを統合している。
• 評価は、GPT-4を用いた自動評価と、社会科学分野の研究者による妥当性・新規性・有用性の観点からの専門家評価の両方を用いている。

Figure 1: Overview of the new task setting of hypothetical induction and the role of our proposed MOOSE framework.

実験結果

リサーチクエスチョン

• RQ1 生のウェブコーパスのみを提供された大規模言語モデル（LLM）が、事前に人為的にアノテートされた観察データや仮説が存在しない状況でも、社会科学分野において新規で妥当かつ有用な科学的仮説を生成できるか。
• RQ2 現在のフィードバック、過去のフィードバック、将来のフィードバックという異なるフィードバックメカニズムは、ベースラインと比較して、LLMが生成する仮説の品質をどの程度向上させるか。
• RQ3 GPT-4の評価と人間の専門家評価の間には、科学的仮説の品質を評価する上でどの程度相関があるか。
• RQ4 MOOSEのようなフレームワークは、実際の研究で見られる調節効果や中間的要因を捉えた、新規性と包括性を兼ね備えた仮説を生成できるか。
• RQ5 フィードバックメカニズムの統合は、複数の反復において仮説品質に段階的な改善をもたらすか。

主な発見

• MOOSEフレームワークは、GPT-4評価および社会科学分野の専門家評価の両方において、妥当性・新規性・有用性のすべての指標で、LLMベースのベースラインを顕著に上回った。
• 現在のフィードバック、過去のフィードバック、将来のフィードバックという三つのフィードバックメカニズムは、すべてベースフレームワークに対して段階的な品質向上をもたらし、フィードバックチェーンを完全に統合した場合に最高のパフォーマンスを示した。
• 専門家評価では、MOOSEが生成した仮説の多くが妥当で新規性が高く、研究活動において非常に有用であると評価され、いくつかの仮説は新規性および妥当性で5点満点中5点を獲得した。
• GPT-4評価は人間の専門家評価と高い一貫性を示し、ソフト一致性スコアは0.8以上、5段階スケールでの平均差は1点未満であった。これは、GPT-4が仮説評価において信頼性が高いことを示している。
• 定性的分析の結果、MOOSEが生成した仮説は、主効果、調節変数、中間的メカニズムといった複雑な構造を多く含んでおり、高い科学的成熟度を示していた。
• データセットおよびコードは https://github.com/ZonglinY/MOOSE.git で公開されており、オープンドメイン科学的仮説発見分野における再現性および今後のベンチマークのための基盤を提供している。

Figure 2: Selected hypothesis in social science publication.