[論文レビュー] Human-LLM Compound System for Scientific Ideation through Facet Recombination and Novelty Evaluation

Marissa Radensky, Simra Shahid+4 more|arXiv (Cornell University)|Sep 23, 2024

Scientific Computing and Data Management被引用数 5

ひとこと要約

Scideator は、入力と類似論文から側面を抽出し、それらを再結合して潜在的に新規な科学アイデアを生み出す混成イニシアティブツールで、LLM を用いた新規性評価が反復を導く。ユーザ調査では、強力なベースラインよりも新規で興味深いアイデアを多く生み出した。

ABSTRACT

The scientific ideation process often involves blending salient aspects of existing papers to create new ideas - a framework known as facet-based ideation. We contribute Scideator, the first human-LLM system for facet-based scientific ideation. Starting from a user-provided set of scientific papers, Scideator extracts key facets -- purposes, mechanisms, and evaluations -- from these and related papers, allowing users to explore the idea space by interactively recombining facets to synthesize inventive ideas. Scideator is driven by three design choices: (1) human-in-the-loop facet recombination, in which users select facets from retrieved papers and the system generates ideas by finding analogies across them via the Faceted Idea Generator module; (2) distance-controlled retrieval via the Analogous Paper Facet Finder module, which surfaces papers from the same topic to entirely different subareas to provide a spectrum of creative directions; and (3) facet-based novelty verification via the Idea Novelty Checker module, a retrieve-then-rerank pipeline that evaluates idea originality using facets. In a user study with computer science researchers, Scideator provided significantly more creativity support than a baseline using the same backbone LLM without our facet-based modules, particularly in idea exploration and expressiveness. Participants' favorite ideas more often included facets selected by themselves rather than the LLM, and participants used fewer free-text instructions with Scideator, indicating a preference for facet-level steering over prompting. Finally, re-ranking papers by facet matching rather than general relevance improved novelty classification accuracy from 13.79% to 89.66%.

研究の動機と目的

• 研究文献に基づいて関連性が高く新規な研究アイデアを生成できるよう、科学者を動機付け、支援する。
• 入力および類似論文から目的・機構・評価といった側面を抽出・再利用してアイデア生成を導く。
• アイデアの反復的改善を可能にする自動的新規性評価を提供する。
• Scideator の研究者のアイデア創出品質への影響を同一被験者内デザインで評価する。
• ヒト-LLM 科学的発想における設計選択とユーザー相互作用パターンへの洞察を提供する。

提案手法

• 4つの LLM 搭載 retrieval-augmented generation モジュールを導入する：Analogous Paper Facet Finder、Faceted Idea Generator、Idea Novelty Checker、Idea Novelty Iterator。
• Semantic Scholar データと LLM 推論を用いて入力および類似論文から側面（目的、機構、評価）を抽出する。
• 入力と類似論文間の選択された側面と距離（近いアナロジー／遠いアナロジー）を再結合してアイデアを生成する。
• 関連論文を取得し、ユーザーに提示する説明とともに妥当な新規性分類を導出して新規性を評価する。
• 新規性が低いと判定された場合により新規なアイデアを提案して反復的な新規性の改善を提供する。
• 強力な文献検索＋LLM ベースラインと比較する同一被験者内ユーザ研究を実施する（N=19 CS 研究者）。
• 相互作用パターン、側面距離の使用、そして新規性評価の性能を Prior 新規性手法と比較し分析する。

Figure 1 . The Scideator workflow. 1) The interaction starts with the user providing a set of input papers that they would like to use as a starting point for ideation. 2) The tool responds by retrieving analogous papers to the input papers and extracting facets from the input and analogous papers.

実験結果

リサーチクエスチョン

• RQ1 文献に基づいて関連性が高く新規な科学的アイデアの生成を Scideator はどのように支援するか。
• RQ2 側面の再結合アプローチと自動的新規性評価は、ベースラインのアプローチよりも新規なアイデアを生み出すか。
• RQ3 自動的新規性チェッカーは、人間の判断や過去の手法と比べてどれだけ正確で有用か。
• RQ4 アイデーションの成果に影響を与えるユーザー相互作用パターンと設計要因（例：側面距離、保存行動）は何か。
• RQ5 設計選択（例：手動の新規性注釈）が新規性評価とアイデア生成に与える定性的・定量的効果は何か。

主な発見

• Scideator を使用した場合、ベースラインよりも新規で興味深いアイデアを多く生成した（外れ値を除いた後、統計的に有意）。
• Idea Novelty Checker は、最近の LLM ベースの新規性アプローチと比較して人間の新規性評価との一致を 10 倍以上改善し、別の最近の手法より約 13% 高い一致度を示した。
• 同一被験者内の研究で、N=19 CS 研究者が Scideator 使用時にベースラインよりも新規かつ興味深いと評価されるアイデアを多く生み出した。
• 新規性の手動注釈と簡潔なレビューは、文献検索やプロンプト最適化アプローチのみに依存するベースラインよりも新規性評価結果を改善した。
• 相互作用ログの分析から、保存されたアイデアと側面に対する時間が長く、若手研究者は遠い側面や未知のアイデアにより関与し、中堅以上は探索パターンが異なることが見られた。
• システム設計は二つの目標をサポートする：関連性（側面取得とユーザー選択を通じて）と新規性（側面距離と自動的新規性推論を通じて）。

(a)