Skip to main content
QUICK REVIEW

[論文レビュー] OpenScholar: Synthesizing Scientific Literature with Retrieval-augmented LMs

Akari Asai, Jacqueline He|arXiv (Cornell University)|Nov 21, 2024
Semantic Web and OntologiesComputer Science被引用数 5
ひとこと要約

OpenScholar は、45M-paper データストアと自己フィードバックを備えた取得強化LMで、引用付きで文献を統合し、正確性と引用の正確さの面でいくつかのベースラインを上回っています。また、専門家が好む出力を示し、そのエコシステムをオープンソース化しています。

ABSTRACT

Scientific progress depends on researchers' ability to synthesize the growing body of literature. Can large language models (LMs) assist scientists in this task? We introduce OpenScholar, a specialized retrieval-augmented LM that answers scientific queries by identifying relevant passages from 45 million open-access papers and synthesizing citation-backed responses. To evaluate OpenScholar, we develop ScholarQABench, the first large-scale multi-domain benchmark for literature search, comprising 2,967 expert-written queries and 208 long-form answers across computer science, physics, neuroscience, and biomedicine. On ScholarQABench, OpenScholar-8B outperforms GPT-4o by 5% and PaperQA2 by 7% in correctness, despite being a smaller, open model. While GPT4o hallucinates citations 78 to 90% of the time, OpenScholar achieves citation accuracy on par with human experts. OpenScholar's datastore, retriever, and self-feedback inference loop also improves off-the-shelf LMs: for instance, OpenScholar-GPT4o improves GPT-4o's correctness by 12%. In human evaluations, experts preferred OpenScholar-8B and OpenScholar-GPT4o responses over expert-written ones 51% and 70% of the time, respectively, compared to GPT4o's 32%. We open-source all of our code, models, datastore, data and a public demo.

研究の動機と目的

  • 信頼できる出典元付けと最新の引用を備えた、スケールで科学文献を統合する課題に対処する。
  • オープンリトリーバル生成を支援するため、科学分野に最適化された専門のデータストアと検索スタックを開発する。
  • オープンで効率的なLM(8B)を訓練・評価し、自己フィードバックと反復検索による改善を示す。
  • 専門家の注釈を伴う長文文献統合のための大規模 multi-domain ベンチマーク ScholarQABench を創設する。

提案手法

  • 45 million papers and 234 million passages を含む専用の OpenScholar-DataStore (OSDS) を備えた OpenScholar を構築する。
  • peS2o データセットで訓練された bi-encoder レトリーバと、統合のための top-N パッセージ集合を作成するための cross-encoder リランカーを使用する。
  • インライン引用付きの初期回答を生成する LM ジェネレーターを用い、その後自己生成のフィードバックと反復的なリトリーバルで出力を洗練させる。
  • 取得済みのパッセージで裏付けられていることを保証する引用検証ステップを組み込む。
  • 同じ推論パイプラインで生成された合成データを用い、データフィルタリングと一般科学データとの混合を行い、より小さな 8B の OpenScholar-LM を訓練する。
Figure 1: (Top) Overview of OpenScholar : OpenScholar consists of a specialized datastore, retrievers and LMs and iteratively improves responses using self-feedback inference with retrieval. (Middle) Overview of ScholarQABench : ScholarQABench consists of 2.2k expert-written questions across multipl
Figure 1: (Top) Overview of OpenScholar : OpenScholar consists of a specialized datastore, retrievers and LMs and iteratively improves responses using self-feedback inference with retrieval. (Middle) Overview of ScholarQABench : ScholarQABench consists of 2.2k expert-written questions across multipl

実験結果

リサーチクエスチョン

  • RQ1取得強化LMは、複数のドメインに跨る正確で引用付きの長文出力を文献統合として生成できるか?
  • RQ2ScholarQABench における正確さと引用の正確さの点で、OpenScholar は専有モデルおよびオープンモデル(例: GPT-4o, PaperQA2)とどう比較されるか?
  • RQ3自己フィードバックとリトリーバルの反復が回答の質と引用の信頼性に与える影響は?
  • RQ4OpenScholar パイプラインは、補助コンポーネントとして使用した場合、既存のオフ・ザ・シェルフLMを改善するか?
  • RQ5ScholarQABench ベンチマークは、ドメイン横断の複数論文文献統合の評価に有効か?

主な発見

  • OpenScholar-8B は ScholarQABench での正確さにおいて GPT-4o を 5%、PaperQA2 を 7% 上回る。
  • GPT-4o は引用を 78–90% の頻度で幻視する一方、OpenScholar は人間の専門家と同等の引用正確さを達成する。
  • OpenScholar と GPT-4o を組み合わせると、GPT-4o 単独より正確さが 12% 向上する。
  • 専門家は OpenScholar-8B の出力を、専門家が作成した回答より 51%、OpenScholar-GPT4o の場合は 70% の比較で好む。GPT-4o は 32%。
  • OpenScholar エコシステム—データストア、リトリーバ、LM チェックポイント、ScholarQABench を含む—はオープンソース化され、公開デモで実演された。
  • OpenScholar で小型リトリーバを使用すると、コストを削減し、性能を損なうことなく検索効率を向上させる。
Figure 2: Detailed overview of OpenScholar inference (top) and training (bottom) . At inference time, given an input $x$ , OpenScholar first uses a retriever to identify relevant papers from a specialized datastore ( OpenScholar -Datastore), and then uses a reranker to refine and identify the top $N
Figure 2: Detailed overview of OpenScholar inference (top) and training (bottom) . At inference time, given an input $x$ , OpenScholar first uses a retriever to identify relevant papers from a specialized datastore ( OpenScholar -Datastore), and then uses a reranker to refine and identify the top $N

この論文を読む

Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。

Nubintでこの論文を読む

このレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。