[論文レビュー] TREC-COVID: Constructing a Pandemic Information Retrieval Test Collection

Ellen M. Voorhees, Tasmeer Alam+7 more|arXiv (Cornell University)|May 9, 2020

Biomedical Text Mining and Ontologies参考文献 7被引用数 30

ひとこと要約

tldr: TREC-COVID は CORD-19 から多回の進化するパンデミックIRテストコレクションを構築し、COVID-19 対応における生物医学文献検索の適応を研究します。ラウンドは急速なトピック/出版物の更新を使用し、残差コレクション評価と動的妥当性判断を伴います。

ABSTRACT

TREC-COVID is a community evaluation designed to build a test collection that captures the information needs of biomedical researchers using the scientific literature during a pandemic. One of the key characteristics of pandemic search is the accelerated rate of change: the topics of interest evolve as the pandemic progresses and the scientific literature in the area explodes. The COVID-19 pandemic provides an opportunity to capture this progression as it happens. TREC-COVID, in creating a test collection around COVID-19 literature, is building infrastructure to support new research and technologies in pandemic search.

研究の動機と目的

• パンデミック時に科学文献を用いて生物医学研究者の情報ニーズを捉える。
• パンデミック検索の研究と技術を支えるインフラストラクチャの開発。
• 急速な文献の成長と変化するトピックを反映するために TREC 評価手法を拡張する。
• COVID-19 期間の実世界の情報動態を反映する累積的なラウンドベースのテストコレクションを提供する。

提案手法

• トピックを横断するアドホック検索タスク用の文書セットとして CORD-19 を使用する。
• トピックの入手、実行提出、妥当性評価の短い期間を設定したラウンドを作成する。
• 医療専門家による relevancy の判断を3段階ラベル（Relevant, Partially Relevant, Not Relevant）で行う。
• 以前のラウンドで判断された文書を考慮する残余コレクション評価を適用する。
• スコアリングのために各ラウンドを独立させつつ、以前の判断を後のラウンドの学習データとして許容する。

実験結果

リサーチクエスチョン

• RQ1 パンデミック時代のテストコレクションは、文献が成長するにつれて進化する情報ニーズをどのように捉えることができるか。
• RQ2 急速な知識変化の下でシステムのパフォーマンスを最も適切に示す評価手法（更新を伴うラウンド）は何か。
• RQ3 残余コレクション評価は、ラウンドを通じた公正さとシステムランキングの解釈にどう影響するか。
• RQ4 動的な文書（プレプリント、更新、撤回）での適合性判断にどのような課題が生じるか。
• RQ5 累積的な複数ラウンドの判断は、回顧的分析のための安定した最終コレクションを生み出せるか。

主な発見

• ラウンド1 は 143 件の提出、56 チーム、30 トピック。
• ラウンド1 の qrels は 8,691 判断、トピックあたり平均 289.7 判断。
• ラウンド-7 のプールサイズに対する上位ランクの文書間で、比較的重複が少ない。
• NDCG@10 スコアは、すべてのランで、グループのシステムがすべてのトピックに対して関連文書を見つけるのに有効であったことを示している。
• 8 トピックが最大 NDCG@10 スコア 1.0 を達成し、少なくとも1つのシステムがトップ10の上位10件で完全に関連する文書を10件取得したことを示している。