[論文レビュー] TREC-COVID: Constructing a Pandemic Information Retrieval Test Collection

Ellen M. Voorhees, Tasmeer Alam+7 more|arXiv (Cornell University)|May 9, 2020

COVID-19 diagnosis using AI被引用数 45

ひとこと要約

TREC-COVID は、COVID-19 文献 (CORD-19) を対象に、トピックと文書がリアルタイムで進化する中で検索・取得システムを評価する多段階のパンデミック対応テストコレクションを構築する。最新の文書コーパスと動的な関連判断を備えた迅速な評価サイクルを導入する。

ABSTRACT

TREC-COVID is a community evaluation designed to build a test collection that captures the information needs of biomedical researchers using the scientific literature during a pandemic. One of the key characteristics of pandemic search is the accelerated rate of change: the topics of interest evolve as the pandemic progresses and the scientific literature in the area explodes. The COVID-19 pandemic provides an opportunity to capture this progression as it happens. TREC-COVID, in creating a test collection around COVID-19 literature, is building infrastructure to support new research and technologies in pandemic search.

研究の動機と目的

• パンデミック時に科学文献を用いる生物医学研究者の情報ニーズを捉える。
• TREC 形式の評価を多回次・進化する文書コレクションへ拡張する。
• 急速に変化する生物医学の危機における検索アルゴリズムとシステムを評価するための基盤を提供する。
• 世界的な健康緊急事態における科学情報の管理に関する洞察を促進する。

提案手法

• CORD-19 をアドホックの生物医学検索タスクの文書セットとして使用する。
• トピック公開、ラン提出、関連判断の短い期限を設けたラウンドで評価を組織する。
• 各ラウンドを独立した評価として扱う一方で、トピック/文書セットを前のラウンドの超集合とすることを許容する。
• 特定トピックについて既に判断済みの文書を後のラウンドから除外する、残差コレクション評価を用いてラウンドをスコアリングする。
• トピックを用いて関連度を評価し、ラベルは: Relevant, Partially Relevant, Not Relevant、臨床医とインデクサーが収集。

実験結果

リサーチクエスチョン

• RQ1 パンデミック情報検索のテストコレクションは、健康危機の間に進化する情報ニーズをどのように反映できるか？
• RQ2 多回次・進化するコーパスが検索評価とシステムランキングの安定性に与える影響は何か？
• RQ3 急速に変化する生物医学文献を評価するために必要なインフラと方法論の拡張は何か？

主な発見

• Round 1 は Asia、オーストラリア、ヨーロッパ、北米の56チームから143件のランを集めた。
• Round 1 は 30 トピックを使用し、1 トピックあたり平均約289.7 判断（総計8,691 判断）。
• 判断プールは浅く、判断の不完全さと評価の不確実性を浮き彫りにした。
• 多くのトピックでラン間の重複性の変動が大きく、いくつかのランは上位文書がほとんど共有されなかった。
• NDCG@10 のスコアは、複数のトピックでトップ10の関連性を達成したことを示しており（いくつかのトピックで最大 1.0）、ラン間の判別能力を示唆している。