[논문 리뷰] Human-LLM Compound System for Scientific Ideation through Facet Recombination and Novelty Evaluation

Marissa Radensky, Simra Shahid외 4명|arXiv (Cornell University)|2024. 09. 23.

Scientific Computing and Data Management인용 수 5

한 줄 요약

Scideator는 입력 및 유사 논문에서 특징을 추출해 재조합하여 잠재적으로 새로운 과학적 아이디어를 만들어내는 혼합 주도형 도구이며, 반복 과정을 안내하기 위해 LLM 기반의 참신성 평가를 수행합니다. 사용자 연구에서 강력한 기준선보다 더 참신하고 흥미로운 아이디어를 도출했습니다.

ABSTRACT

The scientific ideation process often involves blending salient aspects of existing papers to create new ideas - a framework known as facet-based ideation. We contribute Scideator, the first human-LLM system for facet-based scientific ideation. Starting from a user-provided set of scientific papers, Scideator extracts key facets -- purposes, mechanisms, and evaluations -- from these and related papers, allowing users to explore the idea space by interactively recombining facets to synthesize inventive ideas. Scideator is driven by three design choices: (1) human-in-the-loop facet recombination, in which users select facets from retrieved papers and the system generates ideas by finding analogies across them via the Faceted Idea Generator module; (2) distance-controlled retrieval via the Analogous Paper Facet Finder module, which surfaces papers from the same topic to entirely different subareas to provide a spectrum of creative directions; and (3) facet-based novelty verification via the Idea Novelty Checker module, a retrieve-then-rerank pipeline that evaluates idea originality using facets. In a user study with computer science researchers, Scideator provided significantly more creativity support than a baseline using the same backbone LLM without our facet-based modules, particularly in idea exploration and expressiveness. Participants' favorite ideas more often included facets selected by themselves rather than the LLM, and participants used fewer free-text instructions with Scideator, indicating a preference for facet-level steering over prompting. Finally, re-ranking papers by facet matching rather than general relevance improved novelty classification accuracy from 13.79% to 89.66%.

연구 동기 및 목표

• 문헌에 근거하여 관련성 있고 새로운 연구 아이디어를 생성하도록 과학자들을 자극하고 가능하게 한다.
• 입력 및 유사 논문에서 목적, 기작, 평가 등 특징을 추출하고 재활용하여 아이디어 생성을 안내한다.
• 아이디어의 자동 참신성 평가를 제공하여 아이디어를 반복적으로 개선할 수 있게 한다.
• 동일 참가자 내 연구를 통해 Scideator가 연구자들의 아이디어 창출 품질에 미치는 영향을 평가한다.
• 휴먼-LLM 과학적 아이데이션에서 설계 선택과 사용자 상호작용 패턴에 대한 통찰을 제공한다.

제안 방법

• Analogous Paper Facet Finder, Faceted Idea Generator, Idea Novelty Checker, 그리고 Idea Novelty Iterator라는 네 가지 LLM 기반 검색-증강 생성 모듈을 도입한다.
• Semantic Scholar 데이터와 LLM 추론을 사용하여 입력 및 유사 논문에서 목적, 기작, 평가 등의 특징을 추출한다.
• 입력 및 유사 논문 간에 선택된 특징과 거리(가까운/먼다운 유사성)를 재조합하여 아이디어를 생성한다.
• 관련 논문을 검색하고 사용자에게 제시되는 설명을 포함한 합리적 참신성 분류를 제시하여 참신성을 평가한다.
• 아이디어가 참신하지 않다고 판단되면 더 참신한 아이디어를 제안하여 반복적 참신성 개선을 제공한다.
• 강력한 문헌 검색 + LLM 기준선과 Scideator를 비교하는 동일 참가자 내 사용자 연구(N=19 CS 연구자)를 수행한다.
• 상호작용 패턴, 특징 거리 사용 및 참신성 평가 성능을 분석하고 이전 참신성 방법과의 비교를 포함한다.

Figure 1 . The Scideator workflow. 1) The interaction starts with the user providing a set of input papers that they would like to use as a starting point for ideation. 2) The tool responds by retrieving analogous papers to the input papers and extracting facets from the input and analogous papers.

실험 결과

연구 질문

• RQ1 Scideator가 문헌에 근거한 새롭고 관련성 높은 과학적 아이디어의 생성을 어떻게 지원하는가?
• RQ2 특징 재조합 접근과 자동 참신성 평가가 기준선 접근법보다 더 참신한 아이디어를 만들어내는가?
• RQ3 자동 참신성 검사기가 인간 판단 및 선행 방법에 비해 얼마나 정확하고 도움이 되는가?
• RQ4 아이디어 생성 결과에 영향을 주는 사용자 상호작용 패턴과 설계 요인은 무엇인가(예: 특징 거리, 저장 행동)?
• RQ5 설계 선택(예: 수동 참신성 주석)이 참신성 평가 및 아이디어 생성에 미치는 정성적·정량적 효과는 무엇인가?

주요 결과

• 참가자들은 Scideator를 사용할 때 기준선보다 더 참신하고 흥미로운 아이디어를 생성했습니다(이상치 제거 후 통계적으로 유의함).
• Idea Novelty Checker는 최근 LLM 기반 참신성 접근법에 비해 인간의 참신성 평가와의 일치도를 10배 이상 향상시켰고, 다른 최근 방법보다 약 13% 높은 일치율을 보였습니다.
• 동일 참가자 내 연구에서 N=19 CS 연구자는 Scideator를 사용할 때 기준선보다 더 참신하고 흥미롭게 평가된 아이디어를 다수 생성했습니다.
• 참신성의 수동 주석 및 간결한 리뷰는 문헌 검색이나 프롬프트-최적화 접근에 의존하는 기준선보다 더 나은 참신성 평가 결과를 낳았습니다.
• 상호작용 로그 분석에서 참가자들이 저장된 아이디어와 특징에 더 많은 시간을 사용했으며, 초년 연구자들은 더 먼 특징과 낯선 아이디어에 더 많이 관여했고, 선임 연구자들은 탐색 패턴이 다르게 나타났습니다.
• 시스템 설계는 두 가지 목표를 지원합니다: 관련성(특징 검색 및 사용자 선택을 통해)과 참신성(특징 거리 및 자동 참신성 추론을 통해).

(a)