[논문 리뷰] SciMON: Scientific Inspiration Machines Optimized for Novelty

Qingyun Wang, Doug Downey외 2명|arXiv (Cornell University)|2023. 05. 23.

Advanced Text Analysis Techniques참고 문헌 48인용 수 11

한 줄 요약

SciMON은 문헌 기반 영감을 검색하고 반복적인 참신성 강화로 문제 맥락에서 새롭고 문헌에 근거한 과학 아이디어를 생성하는 프레임워크를 제안합니다. 이는 표준 LLM 출력보다 향상되나 깊이와 활용성 측면의 남은 간극에 주목합니다.

ABSTRACT

We explore and enhance the ability of neural language models to generate novel scientific directions grounded in literature. Work on literature-based hypothesis generation has traditionally focused on binary link prediction--severely limiting the expressivity of hypotheses. This line of work also does not focus on optimizing novelty. We take a dramatic departure with a novel setting in which models use as input background contexts (e.g., problems, experimental settings, goals), and output natural language ideas grounded in literature. We present SciMON, a modeling framework that uses retrieval of "inspirations" from past scientific papers, and explicitly optimizes for novelty by iteratively comparing to prior papers and updating idea suggestions until sufficient novelty is achieved. Comprehensive evaluations reveal that GPT-4 tends to generate ideas with overall low technical depth and novelty, while our methods partially mitigate this issue. Our work represents a first step toward evaluating and developing language models that generate new ideas derived from the scientific literature

연구 동기 및 목표

• AI가 문헌에 근거한 새로운 과학 방향을 단순 이진 연결이 아닌 문헌에 기초해 생성하는 설정을 동기부여(형 formalize)합니다.
• 문제 맥락에서 아이디어를 생성하는 모델을 학습하고 평가하는 데이터 기반 파이프라인을 만듭니다.
• 생성된 아이디어를 기존 문헌에서 벗어나도록 하는 반복적 참신성 최적화 메커니즘을 개발합니다.

제안 방법

• 과 background/문제 문장을 추출하고 아이디어를 얻기 위해 대규모 논문 코퍼스를 수집 및 전처리합니다(과학 정보 추출 IE 사용).
• 배경 맥락과 시드 용어를 구성하고 의미적 인접성, 지식 그래프, 인용 기반 소스에서 영감을 검색합니다.
• 인트캐스트 학습과 선택적 미세 조정을 활용한 LLM(GPT-3.5/4, T5)으로 아이디어를 생성하고 배경으로부터의 카피를 줄이기 위한 맥락 내 대조적 목표를 강화합니다.
• 유사한 아이디어를 검색하고 참조 코퍼스에 대한 참신성을 평가한 뒤 아이디어를 업데이트하여 임계값이 달성될 때까지 반복적 참신성 강화 루프를 구현합니다.
• 참신성 페널티 메커니즘을 도입하고 검색된 관련 연구를 부정 프롬프트로 사용하여 보다 독립적인 아이디어를 촉진합니다.
• 타당성, 참신성 및 기술적 깊이를 평가하기 위해 NLP 및 생의학 도메인에서 인간 연구를 사용해 평가합니다.

실험 결과

연구 질문

• RQ1 문제 맥락 입력을 문헌에 근거한 새로운 아이디어로 어떻게 변환할 수 있는가?
• RQ2 문헌에서의 영감 검색과 반복적 참신성 강화가 기본 LLM에 비해 참신성과 기술적 깊이를 향상시키는가?
• RQ3 현재 LLM이 과학 아이디어를 생성하는 데 어떤 한계가 있으며 검색 보강 방식이 이를 어떻게 완화할 수 있는가?
• RQ4 SciMON은 도메인 간(NLP/AI와 생의학)으로 얼마나 잘 이동 가능한가?

주요 결과

Split	Forward	Backward	Total
Train	55,884	58,426	114,310
Valid	7,938	8,257	16,195
Test	2,623	2,686	5,309

• GPT-4 기반 출력은 더 장황하고 때로는 더 유용할 수 있지만, 보강 없이 전반적으로 참신성과 기술적 깊이가 제한적입니다.
• 의미적 이웃, 지식 그래프, 인용 기반 영감을 활용한 검색 보강 생성은 베이스라인 대비 참신성과 깊이를 향상시킵니다.
• 반복적 참신성 강화(검색-비교-업데이트)는 많은 업데이트에서 상당한 참신성을 증가시키며, 특히 첫 번째 반복에서 큰 참신성이 나타납니다.
• 도메인 내외(NLP 및 생의학) 실험은 아이디어 품질이 향상되었음을 나타내지만, 실제 정답 아이디어는 생성된 아이디어보다 현저히 더 새롭고 상세합니다.
• 인간 평가에서 KG 및 SN 보강이 있는 GPT-4가 다른 베이스라인보다 우수하지만 아이디어는 여전히 참신성과 기술적 깊이 면에서 ground-truth 논문에 뒤처집니다.