[論文レビュー] Covidex: Neural Ranking Models and Keyword Search Infrastructure for the COVID-19 Open Research Dataset

Edwin Zhang, Nïkhil Gupta+9 more|arXiv (Cornell University)|Jul 14, 2020

Topic Modeling参考文献 22被引用数 7

ひとこと要約

Covidex は、CORD-19 データセット向けのニューラルランク付けおよびキーワード検索インフラを提供する。Anserini を用いたリtrieval と、微調整された T5 モデルを用いたニューラル再ランク付けを統合している。TREC-COVID ラウンド3 において、フィードバックベースのランク付けで最高得点を記録し、完全自動ランク付けで2番目に高い得点を達成した。オープンソースのツールとベースラインを提供することで、最先端のパフォーマンスと広範なコミュニティへの影響を実証した。

ABSTRACT

We present Covidex, a search engine that exploits the latest neural ranking models to provide information access to the COVID-19 Open Research Dataset curated by the Allen Institute for AI. Our system has been online and serving users since late March 2020. The Covidex is the user application component of our three-pronged strategy to develop technologies for helping domain experts tackle the ongoing global pandemic. In addition, we provide robust and easy-to-use keyword search infrastructure that exploits mature fusion-based methods as well as standalone neural ranking models that can be incorporated into other applications. These techniques have been evaluated in the ongoing TREC-COVID challenge: Our infrastructure and baselines have been adopted by many participants, including some of the highest-scoring runs in rounds 1, 2, and 3. In round 3, we report the highest-scoring run that takes advantage of previous training data and the second-highest fully automatic run.

研究の動機と目的

• パンデミック期における迅速な情報アクセスを支援する、堅牢でコミュニティが利用可能な CORD-19 データセット用検索インfra を開発すること。
• 医療テキスト上で微調整された T5 モデルを用いてニューラルランク付け技術を発展させ、マルチステージリtrieval パイプラインに統合すること。
• ドメインエキスパートが効率的に関連する科学文献を取得できるエンドツーエンドの検索アプリケーション（covidex.ai）をデプロイすること。
• TREC-COVID チャレンジへの高パフォーマンスな提出を可能にする、オープンソースのベースラインとインfra を提供すること。
• 統合ベースのキーワード検索とニューラル再ランク付けの有効性を、生物医学的情報検索の文脈で示すこと。

提案手法

• 初期リtrieval は、XML アダプタを介して CORD-19 論文をインデックス化する Anserini IR ツールキットを用いて実施され、要約、本文、段落の各分野におけるボトムズオブワード（bag-of-words）クエリをサポートする。
• キーワード検索の結果は、複数のインデックス（要約、本文、段落）のランクを逆順ランク融合（RRF）することで強化され、リtrieval の有効性が向上する。
• 初期候補セットの再ランク付けには、MS MARCO および MS MARCO の医療サブセット上で微調整された monoT5-3B および duoT5 モデルが使用される。
• 関連性判断を活用して結果を精緻化する分類ベースのフィードバック機構が適用され、混合重み 0.5 を用いてニューラルスコアと分類器出力を統合する。
• クエリ生成は、ScispaCy を用いて質問フィールドから抽出された固有表現（named entities）をクエリに追加することで向上し、語彙カバレッジと関連性が向上する。
• システムは、covidex.ai としてエンドツーエンドの検索エンジンとしてデプロイされ、TREC-COVID チャレンジへの提出の基盤ともなっている。

実験結果

リサーチクエスチョン

• RQ1 CORD-19 データセット上での生物医学的質問応答に、キーワード検索とニューラル再ランク付けを統合したマルチステージリtrieval パイプラインは、どの程度有効であるか？
• RQ2 質問フィールドから抽出された固有表現を用いたクエリ拡張は、ベースラインのキーワードクエリに比べて、リtrieval パフォーマンスにどの程度向上効果をもたらすか？
• RQ3 オープンソース化されたニューラルランク付けモデルとリtrieval インfra は、TREC-COVID チャレンジにおけるパフォーマンス向上に顕著な影響を及えるか？
• RQ4 関連性判断を活用したフィードバックベースの再ランク付けは、完全自動のニューラル再ランク付けに比べて、有効性においてどの程度優れているか？
• RQ5 複数のドキュメントフィールドにわたる統合ベースのキーワード検索（例：RRF）は、リtrieval の質にどのような影響を及えるか？

主な発見

• TREC-COVID ラウンド3 において、分類ベースのアプローチによる関連性フィードバックを活用した結果、すべての提出の中から最高得点を記録した。
• monoT5-3B を用いた再ランク付けのランクは、完全自動ランク付けの中で2番目に高い得点を記録し、人的介入なしで優れたパフォーマンスを示した。
• 統合ベースのキーワード検索ランク（r3.fusion1 および r3.fusion2）は強力なベースラインとして機能し、ラウンド2 で136件、ラウンド3 で79件の提出がそれらに依存した。
• duoT5 モデルは monoT5 よりわずかに優れた性能を示したが、上昇幅は限定的であり、より深いニューラルアーキテクチャからの利益は段階的であった。
• ScispaCy で抽出された固有表現を用いたクエリ拡張技術は、ベースラインのキーワードクエリに比べて、リtrieval の有効性を顕著に向上させた。
• オープンソース化された Anserini 統合ベースラインは、複数の上位パフォーマンスチームによって採用され、ラウンド2 で最高得点を記録した人的介入ランクおよび最良の自動ランクの両方の基盤となった。