[論文レビュー] SciMON: Scientific Inspiration Machines Optimized for Novelty

Qingyun Wang, Doug Downey+2 more|arXiv (Cornell University)|May 23, 2023

Advanced Text Analysis Techniques参考文献 48被引用数 11

ひとこと要約

SciMONは、文献ベースの着想を取り出すフレームワークを提案し、問題文脈から文献に基づく文献-groundedな科学的アイデアを生成するための反復的な新規性向上を用いることで、標準的なLLM出力を改善するが、深さと有用性の点で残るギャップに注意する。

ABSTRACT

We explore and enhance the ability of neural language models to generate novel scientific directions grounded in literature. Work on literature-based hypothesis generation has traditionally focused on binary link prediction--severely limiting the expressivity of hypotheses. This line of work also does not focus on optimizing novelty. We take a dramatic departure with a novel setting in which models use as input background contexts (e.g., problems, experimental settings, goals), and output natural language ideas grounded in literature. We present SciMON, a modeling framework that uses retrieval of "inspirations" from past scientific papers, and explicitly optimizes for novelty by iteratively comparing to prior papers and updating idea suggestions until sufficient novelty is achieved. Comprehensive evaluations reveal that GPT-4 tends to generate ideas with overall low technical depth and novelty, while our methods partially mitigate this issue. Our work represents a first step toward evaluating and developing language models that generate new ideas derived from the scientific literature

研究の動機と目的

• AIが文学ではなく単純な二項リンクに基づくのではなく、文献に基づいた新規の科学的方向性を生成する設定を動機づけ（公式化）する。
• 問題文脈からアイデアを生成するモデルを訓練・評価するデータ駆動パイプラインを作成する。
• 生成アイデアを既存の文献から逸脱させつつ関連性を保つ反復的な新規性最適化メカニズムを開発する。

提案手法

• 論文の大規模コーパスを収集・前処理し、背景／問題文と対応するアイデアを科学情報抽出（IE）を用いて抽出する。
• 背景コンテキストと種となる用語を構築し、 semantic-neighbor、知識グラフ、および引用ベースのソースから着想を取得する。
• インコンテキスト学習と任意のファインチューニングを組み合わせて、GPT-3.5/4、T5を用いてアイデアを生成し、背景からのコピーを減らすためのインコンテキスト対比目的を追加で強化する。
• 似たアイデアを取得・比較・更新する反復的な新規性向上ループを実装し、参照コーパスに対する新規性を評価し、閾値を満たすまでアイデアを更新して新規性を改善する。
• 新規性ペナルティ機構を導入し、 retrieved related workをネガティブプロンプトとして用いてより異なるアイデアを促進する。
• 関連性・新規性・技術的深さを評価するため、NLPと生物医学領域のヒューマンスタディを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 問題文脈入力をどのようにして文献に基づく新規アイデアへと変換できるか？
• RQ2 文献からの着想取得と反復的な新規性向上は、基準モデルのLLMと比較して新規性と技術的深さを改善できるか？
• RQ3 現在のLLMが科学的アイデアを生成する際の限界は何であり、 retrieval-augmented 法はそれをどう緩和できるか？
• RQ4 SciMONはドメイン間でどれほど移植可能か（例：NLP/AIと生物医学）？

主な発見

Split	Forward	Backward	Total
Train	55,884	58,426	114,310
Valid	7,938	8,257	16,195
Test	2,623	2,686	5,309

• GPT-4ベースの出力はより冗長で役に立つこともあるが、全体として新規性と技術的深さは強化なしでは限定的である。
• セマンティックな近傍、知識グラフ、引用ベースの着想を用いた retrieval-augmented generationは、ベースラインと比較して新規性と深さを向上させる。
• 反復的な新規性向上（retrieve-compare-update）は、ケースのかなりの割合で新規性を高める。
• 同領域内および跨領域（NLPと生物医学）の実験はアイデアの質を改善することを示唆するが、真のグラウンドトゥルースのアイデアには依然としてより新規で詳細である。
• ヒューマン評価は、KGとSN拡張を備えたGPT-4が他のベースラインを上回ることを示す一方、アイデアは新規性と技術的深さにおいて依然としてグラウンドトゥルース論文に及ばない。