[論文レビュー] DORIS-MAE: Scientific Document Retrieval using Multi-level Aspect-based Queries

Jianyou Wang, Kaicheng Wang+4 more|arXiv (Cornell University)|Oct 7, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

DORIS-MAEは、複雑で多面的な研究課題を扱うために、多段階の側面ベースのクエリを用いた新しい科学文書検索タスクを導入する。本研究では、コンピュータサイエンス分野の100件の複雑なクエリを含み、それぞれが100件の関連する要約と階層的な側面／サブ側面構造を持つ、人間がアノテートした高品質なデータセットを提案する。このデータセットにより、4,000件を超えるサブクエリのテストケースが可能となる。Anno-GPTというLLMベースのアノテーション手法により、品質に損なわれることなく500倍のコスト削減を達成した。また、既存の検索モデルが著しく性能を落とすことが明らかになり、より強固な手法の必要性が示された。

ABSTRACT

In scientific research, the ability to effectively retrieve relevant documents based on complex, multifaceted queries is critical. Existing evaluation datasets for this task are limited, primarily due to the high cost and effort required to annotate resources that effectively represent complex queries. To address this, we propose a novel task, Scientific DOcument Retrieval using Multi-level Aspect-based quEries (DORIS-MAE), which is designed to handle the complex nature of user queries in scientific research. We developed a benchmark dataset within the field of computer science, consisting of 100 human-authored complex query cases. For each complex query, we assembled a collection of 100 relevant documents and produced annotated relevance scores for ranking them. Recognizing the significant labor of expert annotation, we also introduce Anno-GPT, a scalable framework for validating the performance of Large Language Models (LLMs) on expert-level dataset annotation tasks. LLM annotation of the DORIS-MAE dataset resulted in a 500x reduction in cost, without compromising quality. Furthermore, due to the multi-tiered structure of these complex queries, the DORIS-MAE dataset can be extended to over 4,000 sub-query test cases without requiring additional annotation. We evaluated 17 recent retrieval methods on DORIS-MAE, observing notable performance drops compared to traditional datasets. This highlights the need for better approaches to handle complex, multifaceted queries in scientific research. Our dataset and codebase are available at https://github.com/Real-Doris-Mae/Doris-Mae-Dataset.

研究の動機と目的

• 科学文書検索分野における高品質で複雑なクエリベンチマークの不足に対処すること。
• アノテーションの効率化と検索モデルの解釈可能性を向上させるために、階層的で側面ベースのクエリ構造を設計すること。
• LLM検証フレームワーク（Anno-GPT）を用いて、専門家レベルのアノテーションコストを削減すること。
• 既存の検索モデルが複雑で多目的なクエリに対してどのように性能を発揮するかを評価し、その限界を明らかにすること。
• 追加のアノテーションなしに、100件のオリジナルクエリから4,000件を超えるサブクエリのテストケースを生成すること。

提案手法

• DORIS-MAEタスクは、複雑な科学的クエリを階層的な側面とサブ側面に構造化することで、多面的な研究課題を捉える。
• 100件の複雑なクエリのベンチマークデータセットは、専門家によって手作業で作成され、それぞれがarXiv（2011–2021年）から抽出された100件の関連するコンピュータサイエンスの要約とペairedされている。
• 各（側面／サブ側面、要約）ペアの関連度スコアは人間の専門家によってアノテートされ、合計83,591ペアの順序付きテストセットが形成された。
• Anno-GPTは、統計的手法を用いてLLMが生成したアノテーションを検証するパイプラインであり、人間の専門家と同等の品質を保証する。
• LLM（ChatGPT-3.5-turbo）を用いてアノテーションを生成することで、完全な人間によるアノテーションと比較して、アノテーションコストを500倍削減した。
• 階層的な構造により、追加のアノテーションなしに、テストケースを自動的に4,000件を超えるサブクエリに拡張可能となった。

Figure 1: Example from the DORIS-MAE dataset. Each query is broken down into aspects and sub-aspects. Aspects are semantically distinct components of the query, and sub-aspects are minimal requirements that can be extracted from the aspects.

実験結果

リサーチクエスチョン

• RQ1 階層的で側面ベースのクエリ構造は、科学文書検索の正確性とスケーラビリティを向上させることができるか？
• RQ2 LLMは、複雑で専門家レベルの文書関連度アノテーションにおいて、人間の専門家をどれだけ代替できるか？
• RQ3 既存の検索モデルは、従来のベンチマークと比較して、複雑で多目的なクエリに対してどの程度の性能を示すか？
• RQ4 クエリの階層的構造を活用することで、追加のアノテーションなしに多数のサブクエリテストケースを生成できるか？
• RQ5 科学的検索データセットにおける専門家レベルのアノテーションにLLMを用いる際のコスト・品質のトレードオフは何か？

主な発見

• DORIS-MAEデータセットには100件の複雑なクエリが含まれており、それぞれが100件の関連する要約とペairedされており、合計83,591件の（側面／サブ側面、要約）ペアがアノテートされている。
• Anno-GPTによるLLMベースのアノテーションは、人間の専門家と同等の品質を達成し、アノテーションコストを500倍削減した。
• 階層的な側面構造のおかげで、追加のアノテーションなしに100件のオリジナルクエリから4,000件を超えるサブクエリのテストケースが生成可能となった。
• DORIS-MAEで評価したところ、17の最近の検索モデルは従来のベンチマークと比較して著しく性能を落とし、複雑なクエリに対する限界が明らかになった。
• データセットは自己完結型であり、CC-BY-NCライセンスで公開されており、GitHubおよびZenodoにホスティングされており、DOI 10.5281/zenodo.8035110が付与されている。
• データセットは著者らが維持管理されており、誤りの修正のためのアップデートが行われ、バージョニングはDOIによって保持される。

(a) Normalized scores of abstracts in candidate pool per query.