[논문 리뷰] Nova: An Iterative Planning and Search Approach to Enhance Novelty and Diversity of LLM Generated Ideas

Xiang Hu, Hongyu Fu외 8명|arXiv (Cornell University)|2024. 10. 18.

Biomedical and Engineering Education인용 수 5

한 줄 요약

Nova는 반복적 계획 및 외부 지식 검색 프레임워크를 도입하여 LLM이 생성하는 연구 아이디어의 참신성과 다양성을 높이고, 베이스라인 대비 고유한 새로운 아이디어가 3.4배 더 많고 상위 등급 아이디어가 적어도 2.5배 더 많다.

ABSTRACT

Scientific innovation is pivotal for humanity, and harnessing large language models (LLMs) to generate research ideas could transform discovery. However, existing LLMs often produce simplistic and repetitive suggestions due to their limited ability in acquiring external knowledge for innovation. To address this problem, we introduce an enhanced planning and search methodology designed to boost the creative potential of LLM-based systems. Our approach involves an iterative process to purposely plan the retrieval of external knowledge, progressively enriching the idea generation with broader and deeper insights. Validation through automated and human assessments indicates that our framework substantially elevates the quality of generated ideas, particularly in novelty and diversity. The number of unique novel ideas produced by our framework is 3.4 times higher than without it. Moreover, our method outperforms the current state-of-the-art, generating at least 2.5 times more top-rated ideas based on 170 seed papers in a Swiss Tournament evaluation.

연구 동기 및 목표

• 과학 연구를 위한 더 높은 품질의 더 참신한 아이디어를 생성하도록 LLM을 동기부여하고 가능하게 한다.
• 목표 지향적 외부 지식 검색을 설계하여 반복되는 아이디어를 해결한다.
• 아이디어 생성을 풍부하게 하기 위해 지식 검색을 계획하는 반복적 계획 파이프라인을 개발한다.
• 자동 평가와 인간 평가를 통해 계획 주도 지식 검색의 효과를 입증한다.

제안 방법

• 참신성과 다양성을 목표로 하는 지식 검색 계획을 고안하도록 LLM에 지시하는 반복적 계획 및 검색 프레임워크.
• 관련 문헌 및 과학 발견 방법을 이용한 다중 소스 시드 아이디어 생성으로 초기 아이디어를 생성합니다(입력 논문당 15개의 시드 아이디어).
• 각 반복에서 검색 계획을 수립하고 외부 논문을 수집하며 새로운 시드를 생성하고 자기 성찰을 통해 아이디어를 다듬는 반복 사이클(반복당 3개).
• 최종 단계에서 아이디어를 하위 모듈로 분해하고 방법론을 상세화하여 시드 아이디어를 초기 및 최종 제안으로 확장합니다.
• 품질 평가를 위한 스위스 토너먼트 스타일 순위(Claude-3.5-Sonnet 제로샷 랭커)와 주제적으로 유사한 논문 및 코사인 유사도 임계값에 기반한 참신도/다양성 지표를 사용한 자동 평가.
• 자연어처리/NLP/ML/CV 전문가를 통한 인간 평가가 자동 지표를 검증하기 위해 참신성과 전반적 품질을 평가합니다.

Figure 1: Nova’s Performance. The Left: Comparison with the state-of-the-arts. Nova significantly outperforms other agents (Si et al., 2024 ; Baek et al., 2024 ; Lu et al., 2024 ) in generating high-quality ideas (Swiss Tournament Score is 5). The Right: The number of unique novel ideas at each iter

실험 결과

연구 질문

• RQ1 이전의 최첨단 방법과 비교하여 반복적 계획과 외부 지식 검색이 LLM이 생성한 아이디어의 참신성과 다양성을 향상시키는가?
• RQ2 자동 평가(스위스 토너먼트, 참신도, 다양성 지표)와 인간 평가가 아이디어 품질 판단에서 얼마나 일치하는가?
• RQ3 관찰된 향상에 있어 계획 구성요소와 검색 구성요소의 기여도는 무엇인가?
• RQ4 대규모 시드 페이퍼 집합에 걸쳐 프레임워크가 확장되어도 여전히 높은 품질의 아이디어를 생산하는가?

주요 결과

• Nova는 반복적 계획 프레임워크가 없는 베이스라인보다 고유한 새로운 아이디어를 3.4배 더 생성한다.
• Nova는 170개 시드 페이퍼에 대한 스위스 토너먼트 평가에서 현재 최첨단 방법에 비해 상위 등급 아이디어가 적어도 2.5배 더 많다.
• 자동 평가에서 Nova가 더 높은 Swiss 점수와 4 또는 5로 평가된 아이디어의 비율이 더 높음을 보인다.
• 인간 평가에서 비교 대상 에이전트 중에서 Nova가 전반적 품질과 참신성에서 가장 높은 점수를 얻는 것으로 확인된다.
• 배제 연구에서 계획과 검색 모두 필수적임이 나타났습니다; 계획 제거는 고유 아이디어 생성의 진전을 멈추고, 둘 다 제거하면 이익이 제한적입니다.

Figure 2: Nova Pipeline. The Pipeline includes initial seed idea generation, seed idea iteration, and idea completion. Upon receiving an input paper ( i.e. , seed paper), the LLM is prompted to generate initial seed ideas by utilizing related papers (including recent publications) and scientific dis