[論文レビュー] CSFCube -- A Test Collection of Computer Science Research Articles for Faceted Query by Example

Sheshera Mysore, Tim O’Gorman+2 more|arXiv (Cornell University)|Mar 23, 2021

Topic Modeling被引用数 8

ひとこと要約

本論文は、科学的文献検索におけるファセット付きQuery by Example (QBE)を目的として、50件のコンピュータサイエンス研究要約を手動でアノテートしたテストコレクションであるCSFCubeを紹介する。このデータセットにより、目的、手法、結果といった特定の修辞的ファセットに沿って、照合文書に類似する論文を検索するモデルの評価が可能となり、高水準のアノテータ間一貫性を示す段階的 relevance 判定が可能となる。これにより、最先端モデルにおける顕著な性能格差が明らかになった。

ABSTRACT

Query by Example is a well-known information retrieval task in which a document is chosen by the user as the search query and the goal is to retrieve relevant documents from a large collection. However, a document often covers multiple aspects of a topic. To address this scenario we introduce the task of faceted Query by Example in which users can also specify a finer grained aspect in addition to the input query document. We focus on the application of this task in scientific literature search. We envision models which are able to retrieve scientific papers analogous to a query scientific paper along specifically chosen rhetorical structure elements as one solution to this problem. In this work, the rhetorical structure elements, which we refer to as facets, indicate objectives, methods, or results of a scientific paper. We introduce and describe an expert annotated test collection to evaluate models trained to perform this task. Our test collection consists of a diverse set of 50 query documents in English, drawn from computational linguistics and machine learning venues. We carefully follow the annotation guideline used by TREC for depth-k pooling (k = 100 or 250) and the resulting data collection consists of graded relevance scores with high annotation agreement. State of the art models evaluated on our dataset show a significant gap to be closed in further work. Our dataset may be accessed here: https://github.com/iesl/CSFCube

研究の動機と目的

• キーワードベースの検索の限界に起因する、文書が複数の側面をカバーする中で、ユーザーが検索結果に対してより細分化された制御を必要とするという問題に対処する。
• ユーザーが照合文書と特定の修辞的ファセット（例：手法や結果）を指定することで、検索を実行するファセット付きQuery by Example (QBE)のタスクを形式化する。
• 信頼できる評価を可能にするために、高品質で専門家がアノテートしたテストコレクションを構築し、引用情報や高コストな人間の評価といったノイズの多い代替指標に依存するのを回避する。
• 科学的テキストを用いた文書類似性の文脈依存性、レビュアーの割り当て、アイデアの追跡、因果推論に関する研究を支援する。

提案手法

• データセットは、機械学習および計算言語学の学会誌から選ばれた50件の多様な研究論文要約から構成され、さまざまなトピックと修辞的構造をカバーするように選定された。
• 各照合文書について、背景／目的、手法、結果という3つのファセットが手動で選定され、150の固有の照合ファセットペアが形成された。
• S2ORCコロナス（約80万件の論文）から多様な検索手法を用いて、100または250件の候補文書プールを構築し、関連性は高いが自明でないマッチングをカバーするようにした。
• 研究経験を有する大学院レベルのコンピュータサイエンスのアノテータ4名が、深度kプーリング戦略（k = 100または250）に従い、各候補文書について照合ファセットペアに対する関連性を評価した。
• 段階的関連性スコア（0〜3）が、TRECガイドラインに従い、高いアノテータ間一貫性を示すように割り当てられた。
• データセットはhttps://github.com/iesl/CSFCubeにて公開されており、ファセット付きQBEモデルの学習および評価に使用可能である。

実験結果

リサーチクエスチョン

• RQ1 最先端モデルは、特定の修辞的ファセット（例：手法や結果）に沿って照合文書に類似する論文をどれほど効果的に検索できるか。
• RQ2 科学的文献におけるファセット付きQBEにおいて、現在のモデルと人間の関連性判断との間には、どの程度の性能格差が存在するか。
• RQ3 引用情報やキーワードベースの代替指標は、人間がアノテートした関連性とどの程度相関しているか。
• RQ4 標準化された専門家がアノテートしたテストコレクションは、科学的検索におけるファセット付きQBEモデルの開発と比較をどの程度改善できるか。

主な発見

• CSFCubeデータセットは、50件の専門家がアノテートした研究論文要約から派生する150の照合ファセットペアを含み、段階的関連性スコアと高いアノテーション一貫性を有する。
• CSFCube上で評価された最先端モデルは、人間のアノテータと比較して顕著な性能格差を示しており、ファセット付きQBEにおけるさらなる改善の余地が大きいことを示している。
• データセットは、引用情報やキーワードベースの信号が、細分化されたファセット類似性の代替指標として不十分であることを示しており、付録Dでの分析で裏付けられている。
• 深度kプーリング（k = 100または250）の使用により、多様で包括的な候補プールが確保され、評価の堅牢性が向上した。
• データセットはhttps://github.com/iesl/CSFCubeにて公開されており、将来的なモデルの再現可能評価およびベンチマークの実施を可能にする。