[논문 리뷰] ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models

Jinheon Baek, Sunil Kumar Jauhar외 2명|arXiv (Cornell University)|2024. 04. 11.

Topic Modeling인용 수 13

한 줄 요약

ResearchAgent는 LLMs를 인용 그래프, 엔티티 중심의 지식 저장소, 및 ReviewingAgents로 보강하여 학술 문헌에서 문제, 방법, 실험 설계 등 새로운 연구 아이디어를 자동으로 생성하고 반복적으로 개선합니다.

ABSTRACT

The pace of scientific research, vital for improving human life, is complex, slow, and needs specialized expertise. Meanwhile, novel, impactful research often stems from both a deep understanding of prior work, and a cross-pollination of ideas across domains and fields. To enhance the productivity of researchers, we propose ResearchAgent, which leverages the encyclopedic knowledge and linguistic reasoning capabilities of Large Language Models (LLMs) to assist them in their work. This system automatically defines novel problems, proposes methods and designs experiments, while iteratively refining them based on the feedback from collaborative LLM-powered reviewing agents. Specifically, starting with a core scientific paper, ResearchAgent is augmented not only with relevant publications by connecting information over an academic graph but also entities retrieved from a knowledge store derived from shared underlying concepts mined across numerous papers. Then, mimicking a scientific approach to improving ideas with peer discussions, we leverage multiple LLM-based ReviewingAgents that provide reviews and feedback via iterative revision processes. These reviewing agents are instantiated with human preference-aligned LLMs whose criteria for evaluation are elicited from actual human judgments via LLM prompting. We experimentally validate our ResearchAgent on scientific publications across multiple disciplines, showing its effectiveness in generating novel, clear, and valid ideas based on both human and model-based evaluation results. Our initial foray into AI-mediated scientific research has important implications for the development of future systems aimed at supporting researchers in their ideation and operationalization of novel work.

연구 동기 및 목표

• 연구 아이디어 생성을 위한 세 단계 파이프라인(문제 확인, 방법 개발, 실험 설계)을 모델링한다.
• LLM 추론을 A) 인용-그래프 기반 문헌 조사, B) 엔티티 중심의 지식 저장소, C) ReviewingAgents를 통한 반복적 동료 심사를 보강한다.
• LLM 평가 기준을 인간 판단과 일치시키고 인간 선호에 맞춘 평가를 산출하도록 정렬한다.
• 지식 보강 및 반복적으로 다듬은 아이디어가 여러 학문 분야에서 기준선보다 우수함을 보여준다.

제안 방법

• o = [p, m, d]를 정의하되 p는 문제, m은 방법, d는 실험 설계이며, 문자 f(L)로 생성된 문헌 L에 대해 생성된다.
• 인용 그래프 조사를 사용하여 핵심 논문 l0과 관련 논문 {l1,...,ln}을 인용 수와 초록 유사도에 기반해 선택하여 집중된 LLM 입력을 구성한다.
• 논문 전반에서 추출된 엔티티로 K를 엔티티 중심 지식 저장소로 구성하고, 공출연(co-occurrences) 및 도메인 간 연결을 포착하기 위해 희소 행렬로 저장한다.
• K에서 검색한 관련 외부 엔티티를 아이디어 생성 중 컨텍스트를 확장하도록 LLM 프롬프트를 보강한다: o = LLM(T({l0,...,ln}, Ret({l0,...,ln}; K))).
• 다섯 가지 인간 정렬 기준으로 각 아이디어(문제, 방법, 실험)를 비판하는 ReviewingAgents를 도입하여 o를 반복적으로 다듬을 수 있게 한다.
• 모델 기반 평가 기준을 인간 주석 점수에서 파생된 프롬프트로 보정하여 인간 판단을 더 잘 반영하도록 한다.

실험 결과

연구 질문

• RQ1 학술 문헌에서 새로운, 명확하고 타당한 연구 아이디어(문제, 방법, 실험)를 LLM 기반 ResearchAgent가 생성할 수 있는가?
• RQ2 인터넷적으로 엔티티 중심의 지식 저장소와 인용 그래프 문헌 조사를 보강하면 아이디어의 질이 기준선보다 향상되는가?
• RQ3 인간 판단에 맞춘 ReviewingAgents의 반복적 검토가 아이디어 질을 refinement 단계를 통해 향상시키는가?
• RQ4 참고 문헌과 엔티티와 같은 서로 다른 지식 출처가 학문 간 아이디어 질에 어떤 기여를 하는가?

주요 결과

• 전체 ResearchAgent가 문제, 방법 및 실험 설계에 대해 인간 및 모델 기반 평가 모두에서 절대적 기준선보다 우수하다.
• 엔티티 중심의 지식 저장소로 보강하면 아이디어의 독창성 및 참신성이 향상된다.
• ReviewingAgents를 통한 반복적 다듬기로 아이디어 품질이 향상되며 약 세 차례 반복 후 수익이 포화된다.
• 관련 참고 문헌과 엔티티 모두 성능에 기여하며, 참고 문헌이 가장 큰 이점을 제공하는 경우가 많다.
• 인간 정렬 평가 기준이 모델 기반 판단과 인간 판단 간의 정렬을 개선한다.