[論文レビュー] Nova: An Iterative Planning and Search Approach to Enhance Novelty and Diversity of LLM Generated Ideas

Xiang Hu, Hongyu Fu+8 more|arXiv (Cornell University)|Oct 18, 2024

Biomedical and Engineering Education被引用数 5

ひとこと要約

Novaは、LLM生成の研究アイデアの新規性と多様性を高めるために、反復的な計画と外部知識検索のフレームワークを導入し、ベースラインより3.4x多くの独自の新規アイデアを、少なくとも2.5x多くの高評価アイデアを達成する。

ABSTRACT

Scientific innovation is pivotal for humanity, and harnessing large language models (LLMs) to generate research ideas could transform discovery. However, existing LLMs often produce simplistic and repetitive suggestions due to their limited ability in acquiring external knowledge for innovation. To address this problem, we introduce an enhanced planning and search methodology designed to boost the creative potential of LLM-based systems. Our approach involves an iterative process to purposely plan the retrieval of external knowledge, progressively enriching the idea generation with broader and deeper insights. Validation through automated and human assessments indicates that our framework substantially elevates the quality of generated ideas, particularly in novelty and diversity. The number of unique novel ideas produced by our framework is 3.4 times higher than without it. Moreover, our method outperforms the current state-of-the-art, generating at least 2.5 times more top-rated ideas based on 170 seed papers in a Swiss Tournament evaluation.

研究の動機と目的

• LLMs に科学研究のより高品質でより新規なアイデアを生成させる動機づけと実現を提供する。
• 目的指向の外部知識検索を設計して反復的なアイデアに対処する。
• 知識検索を計画してアイデア生成を豊かにする反復的な計画パイプラインを開発する。
• 自動評価と人間評価を通じて、計画主導の知識検索の有効性を示す。

提案手法

• 新規性と多様性を狙う知識検索計画を考案させるようLLMsに促す、反復的な計画と探索フレームワーク。
• 関連文献と科学的発見手法を用いた多源の種アイデア生成により、初期アイデアを生成する（入力論文ごとに15の種アイデア）。
• 各反復で検索を計画し、外部論文を取得し、新しい種を生成し、自己反省を用いてアイデアを絞り込む反復サイクルを行う（各反復につき3つ）。
• 最終段階では、アイデアをサブモジュールに分解し、方法論を詳述することで、種アイデアを初期提案と最終提案へ展開する。
• 品質のための Swiss-system トーナメント風のランキング（Claude-3.5-Sonnet zero-shot ranker）による自動評価と、トピック的に類似する論文とコサイン類似度閾値に基づく新規性/多様性指標。
• 自動指標を検証するため、NLP/ML/CVの専門家による新規性と全体的な品質を評価した人間評価。

Figure 1: Nova’s Performance. The Left: Comparison with the state-of-the-arts. Nova significantly outperforms other agents (Si et al., 2024 ; Baek et al., 2024 ; Lu et al., 2024 ) in generating high-quality ideas (Swiss Tournament Score is 5). The Right: The number of unique novel ideas at each iter

実験結果

リサーチクエスチョン

• RQ1 反復的計画と外部知識検索は、従来の最先端手法と比べて、LLM生成アイデアの新規性と多様性を高めるか？
• RQ2 自動評価（Swiss Tournament、新規性・多様性指標）と人間評価は、アイデア品質の判断でどのように整合するか？
• RQ3 観測された改善に対する計画と検索の寄与はどれほどか？
• RQ4 大規模な種論文セットに対してフレームワークはスケール可能で、なお高品質なアイデアを生み出せるか？

主な発見

• Novaは、反復的計画フレームワークを欠くベースラインより3.4x多くの独自の新規アイデアを生成する。
• Novaは170の種論文に対するSwiss Tournament評価で、現状の最先端手法と比較して少なくとも2.5x多くの高評価アイデアを達成する。
• 自動評価は、Novaがより高いSwissスコアと4または5と評価されたアイデアの割合が高いことを示す。
• 人間評価は、比較対象のエージェントの中で総合品質と新規性の最高得点をNovaが獲得したことを確認する。
• アブレーション研究は、計画と検索の両方が不可欠であることを示唆している。計画を取り除くと独自アイデア生成の進展が止まり、両方を取り除くと得られる効果は限定的になる。

Figure 2: Nova Pipeline. The Pipeline includes initial seed idea generation, seed idea iteration, and idea completion. Upon receiving an input paper ( i.e. , seed paper), the LLM is prompted to generate initial seed ideas by utilizing related papers (including recent publications) and scientific dis