Skip to main content
QUICK REVIEW

[논문 리뷰] OpenScholar: Synthesizing Scientific Literature with Retrieval-augmented LMs

Akari Asai, Jacqueline He|arXiv (Cornell University)|2024. 11. 21.
Semantic Web and OntologiesComputer Science인용 수 5
한 줄 요약

OpenScholar는 45 million-paper 오픈 액세스 데이터스토어와 인용으로 문헌을 합성하는 반복적 자기 피드백이 있는 회수 기반 LM으로, 정확성과 인용 정확성에서 여러 베이스라인을 능가합니다. 또한 전문가가 선호하는 출력과 생태계를 오픈 소스로 공개합니다.

ABSTRACT

Scientific progress depends on researchers' ability to synthesize the growing body of literature. Can large language models (LMs) assist scientists in this task? We introduce OpenScholar, a specialized retrieval-augmented LM that answers scientific queries by identifying relevant passages from 45 million open-access papers and synthesizing citation-backed responses. To evaluate OpenScholar, we develop ScholarQABench, the first large-scale multi-domain benchmark for literature search, comprising 2,967 expert-written queries and 208 long-form answers across computer science, physics, neuroscience, and biomedicine. On ScholarQABench, OpenScholar-8B outperforms GPT-4o by 5% and PaperQA2 by 7% in correctness, despite being a smaller, open model. While GPT4o hallucinates citations 78 to 90% of the time, OpenScholar achieves citation accuracy on par with human experts. OpenScholar's datastore, retriever, and self-feedback inference loop also improves off-the-shelf LMs: for instance, OpenScholar-GPT4o improves GPT-4o's correctness by 12%. In human evaluations, experts preferred OpenScholar-8B and OpenScholar-GPT4o responses over expert-written ones 51% and 70% of the time, respectively, compared to GPT4o's 32%. We open-source all of our code, models, datastore, data and a public demo.

연구 동기 및 목표

  • 확실한 출처 표기와 최신 인용을 보장하면서 대규모로 과학 문헌을 합성하는 과제를 다룬다.
  • 오픈-리트리벌 생성을 지원하기 위해 과학에 최적화된 특화된 데이터스토어와 검색 스택을 개발한다.
  • 개방형이고 효율적인 LM(8B)을 학습·평가하고, 자기 피드백과 반복 검색을 통해 개선을 입증한다.
  • 전문가 주석이 포함된 대규모 다도메인 장문 문헌 합성 벤치마크인 ScholarQABench를 만든다.

제안 방법

  • OpenScholar-DataStore(OSDS)를 포함한 OpenScholar를 구축하여 45 million papers와 234 million passages를 보유한다.
  • peS2o 데이터세트로 학습된 바이-인코더 리트리버와 상호 인코더 리랭커를 사용하여 합성을 위한 top-N passage 세트를 생성한다.
  • 인라인 인용을 포함한 초기 해답을 생성하는 LM 생성기를 사용하고, 그다음에 자체 생성 피드백과 반복 검색으로 출력을 다듬는다.
  • 발언이 검색된 패시지로 뒷받침되도록 인용 검증 단계를 도입한다.
  • 동일 추론 파이프라인으로 생성된 합성 데이터를 통해 더 작은 8B OpenScholar-LM을 학습시키고, 데이터 필터링과 일반 과학 데이터와의 혼합을 수행한다.
Figure 1: (Top) Overview of OpenScholar : OpenScholar consists of a specialized datastore, retrievers and LMs and iteratively improves responses using self-feedback inference with retrieval. (Middle) Overview of ScholarQABench : ScholarQABench consists of 2.2k expert-written questions across multipl
Figure 1: (Top) Overview of OpenScholar : OpenScholar consists of a specialized datastore, retrievers and LMs and iteratively improves responses using self-feedback inference with retrieval. (Middle) Overview of ScholarQABench : ScholarQABench consists of 2.2k expert-written questions across multipl

실험 결과

연구 질문

  • RQ1다양한 도메인에서 정확하고 인용-backed한 장문 outputs를 생성하는 회수 강화 LM이 문헌을 합성할 수 있는가?
  • RQ2OpenScholar은 ScholarQABench에서 정확도와 인용 정확도 면에서 GPT-4o, PaperQA2 같은 독점 및 개방 모델과 어떻게 비교되는가?
  • RQ3반복적 자기 피드백과 검색이 출력 품질과 인용 신뢰도에 어떤 영향을 미치는가?
  • RQ4OpenScholar 파이프라인이 보조 구성요소로 사용될 때 일반 LM의 성능을 개선하는가?
  • RQ5 ScholarQABench 벤치마크는 도메인을 넘나드는 다중 논문 문헌 합성을 평가하는 데 효과적인가?

주요 결과

  • OpenScholar-8B는 ScholarQABench에서 정확도 면에서 GPT-4o보다 5%, PaperQA2보다 7% 우수하다.
  • GPT-4o는 인용을 78–90%의 확률로 망상하는 반면, OpenScholar은 인용 정확도가 인간 전문가와 비슷하다.
  • OpenScholar를 GPT-4o와 결합하면 단독 GPT-4o보다 정확도가 12% 향상된다.
  • 전문가 비교에서 전문가가 작성한 응답보다 OpenScholar 출력이 선호되는 비율은 51%(OpenScholar-8B)와 70%(OpenScholar-GPT4o)이며, GPT-4o 대비 32%이다.
  • 데이터스토어, 리트리버, LM 체크포인트, ScholarQABench를 포함한 OpenScholar 생태계가 오픈 소스화되었고 공개 데모로 시연되었다.
  • OpenScholar에서 더 작은 리트리버를 사용하면 비용이 절감되고 검색 효율이 향상되지만 성능은 저하되지 않는다.
Figure 2: Detailed overview of OpenScholar inference (top) and training (bottom) . At inference time, given an input $x$ , OpenScholar first uses a retriever to identify relevant papers from a specialized datastore ( OpenScholar -Datastore), and then uses a reranker to refine and identify the top $N
Figure 2: Detailed overview of OpenScholar inference (top) and training (bottom) . At inference time, given an input $x$ , OpenScholar first uses a retriever to identify relevant papers from a specialized datastore ( OpenScholar -Datastore), and then uses a reranker to refine and identify the top $N

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.