[論文レビュー] CMT in TREC-COVID Round 2: Mitigating the Generalization Gaps from Web to Special Domain Search

Chenyan Xiong, Zhenghao Liu+8 more|arXiv (Cornell University)|Nov 3, 2020

Topic Modeling参考文献 28被引用数 8

ひとこと要約

本論文は、ドメイン適応的事前学習、ContrastQGおよびReInfoSelectを用いた少数 shot学習、および密度的検索を活用することで、生物医学的検索におけるドメインシフトとラベル不足を軽減するニューラルランク付けシステムを提示する。このシステムは、最小限の人的ラベル付きデータで関連性ラベルの質を向上させるとともに語彙不一致を効果的に低減し、非手動ランク付けシステムとして最高の性能を達成した。

ABSTRACT

Neural rankers based on deep pretrained language models (LMs) have been shown to improve many information retrieval benchmarks. However, these methods are affected by their the correlation between pretraining domain and target domain and rely on massive fine-tuning relevance labels. Directly applying pretraining methods to specific domains may result in suboptimal search quality because specific domains may have domain adaption problems, such as the COVID domain. This paper presents a search system to alleviate the special domain adaption problem. The system utilizes the domain-adaptive pretraining and few-shot learning technologies to help neural rankers mitigate the domain discrepancy and label scarcity problems. Besides, we also integrate dense retrieval to alleviate traditional sparse retrieval's vocabulary mismatch obstacle. Our system performs the best among the non-manual runs in Round 2 of the TREC-COVID task, which aims to retrieve useful information from scientific literature related to COVID-19. Our code is publicly available at https://github.com/thunlp/OpenMatch.

研究の動機と目的

• 一般ウェブ事前学習コーパスと特化したCOVID-19生物医学ドメインの間のドメイン差を是正すること。
• 科学的文献検索における人的ラベル付き関連性ラベルの不足を軽減すること。
• BM25のようなスパース検索手法に内在する語彙不一致問題を克服すること。
• 少数 shot 学習および自己教師付き学習技術を用いて、リソースが限られた生物医学ドメインにおけるニューラルランク付け性能を向上させること。
• 実世界の生物医学的検索シナリオにおける密度的検索およびハイブリッド検索戦略の有効性を評価すること。

提案手法

• ドメイン適応的事前学習（DAPT）を適用し、SciBERTを生物医学コーパスで微調整することで、'COVID-19'のようなドメイン固有用語の理解を向上させること。
• 対照的クエリ生成（ContrastQG）を用いて、訓練用ニューラルランカーに多様で高品質な擬似関連性ラベルを生成すること。
• ReInfoSelectを用いて擬似ラベルをフィルタリング・精査し、高信頼性で情報量の多い関連性信号に焦点を当てる。
• 二重エンコーダー・モデルを用いた密度的検索を統合し、クエリとドキュメントを密度的ベクトルに符号化することで、語彙不一致を低減すること。
• 二段階の検索パイプラインにおいて、密度的検索の結果とBM25に基づくスパース検索の結果を統合し、全体の有効性を向上させること。
• ハイブリッド再ランク戦略を採用し、BM25が候補セットを取得した後、ドメイン適応型モデルを用いてニューラル再ランクを行うこと。

実験結果

リサーチクエスチョン

• RQ1 ドメイン適応的事前学習は、ウェブベース言語モデルと生物医学ドメインの間の一般化ギャップをどの程度低減できるか？
• RQ2 ContrastQG や ReInfoSelect などの少数 shot 学習技術は、最小限のラベル付きデータでニューラルランク付けをどの程度向上できるか？
• RQ3 密度的検索は、生物医学情報検索における語彙不一致問題をどの程度効果的に軽減できるか？
• RQ4 再ランク深度と統合戦略の影響は、リソースが限られた環境下での検索性能にどのような影響を及えるか？
• RQ5 残留コレクション評価は、既知のクエリに性能指標を偏向させるのか、その影響は何か？

主な発見

• 本システムは、TREC-COVID Round 2において非手動ランク付けの最高性能を達成し、すべてのベースラインを上回った。
• 密度的検索が最も大きな性能向上をもたらし、スパース検索単体と比較してP@5が11.8%向上した。
• 再ランク深度が50～100の範囲で最適な性能が得られ、より深い深度ではノイズの影響で精度が低下した。
• 密度的検索とニューラル再ランクの統合により、新規クエリに対する耐性が著しく向上し、ベースラインで見られた急激な性能低下を回避できた。
• ContrastQG および ReInfoSelect は、限られたラベル付きデータでも効果的に擬似ラベルを生成・フィルタリングし、モデルの一般化能力を向上させた。
• 残留コレクション評価は、既知（旧）のクエリに有利に働くことが判明し、過去のアノテーションを活用するシステムに評価が偏向する可能性がある。