[論文レビュー] Overview of the TREC 2020 deep learning track

Nick Craswell, Bhaskar Mitra+2 more|arXiv (Cornell University)|Feb 15, 2021

Topic Modeling参考文献 9被引用数 117

ひとこと要約

論文は第二回 TREC Deep Learning Track を報告し、大規模な学習データ設定における文書およびパッセージ検索においてニューラル（特に BERT 風）対伝統的ランキング手法を比較し、エンドツーエンド対再ランキングパラダイムと ORCAS データセットの影響を分析する。

ABSTRACT

This is the second year of the TREC Deep Learning Track, with the goal of studying ad hoc ranking in the large training data regime. We again have a document retrieval task and a passage retrieval task, each with hundreds of thousands of human-labeled training queries. We evaluate using single-shot TREC-style evaluation, to give us a picture of which ranking methods work best when large data is available, with much more comprehensive relevance labeling on the small number of test queries. This year we have further evidence that rankers with BERT-style pretraining outperform other rankers in the large data regime.

研究の動機と目的

• 大規模データ regime でのアドホックランキングのための大規模で再利用可能な学習データセットとテストデータセットを提供する。
• ランキング手法を比較する厳密でブラインドなワンショット評価を確立する。
• エンドツーエンドおよび再ランキング設定で文書検索とパッセージ検索を評価する。
• 評価における ORCAS データおよび異なるラベル方式の影響を分析する。
• 多様なアプローチを促進し、前年度からの学びを分析する。

提案手法

• 対応するテストコレクションを備えた二つの大規模学習データセット（文書とパッセージ）を提供する。
• 追加の学習データとして、または文書フィールドとして大規模な ORCAS クリックデータセットを含める。
• submitted runs を nnlm、nn、trad のカテゴリーに分類して、事前学習済み言語モデルベース、ニューラルネットワーク、および伝統的手法を比較する。
• NDCG@10 を four-point NIST judgments に基づく評価と、補助指標（RR MS、RR、AP、NCg@k）を用いて評価する。
• エンドツーエンドの fullrank と再ランキング（rerank）を区別して、どの段階が性能に寄与するかを評価する。
• MS MARCO と NIST ラベルの間のデータセット横断的一致を分析し、ORCAS データが性能に及ぼす影響を比較する。

実験結果

リサーチクエスチョン

• RQ1 BERT スタイルの事前学習モデル（nnlm）は、文書検索およびパッセージ検索の大規模データ IR レジームで他手法を上回るか？
• RQ2 トップk のランキング品質に対するエンドツーエンド fullrank 検索と再ランキングの相対的影響は？
• RQ3 ORCAS データセットは性能および MS MARCO と NIST ラベルベースの評価間の一致にどう影響するか？
• RQ4 extensive な学習データ下で伝統的 IR 手法はニューラル手法と競合できるか、どの条件で失敗するか？
• RQ5 評価ラベルの選択（NIST vs. MS MARCO）はモデルの有効性に関する結論にどう影響するか？

主な発見

run	group	subtask	neural	RR (MS)	RR	NDCG@10	NCG@100	AP
d_d2q_duo	h2oloo	fullrank	nnlm	0.4451	0.9476	0.6934	0.7718	0.5422
d_d2q_rm3_duo	h2oloo	fullrank	nnlm	0.4541	0.9476	0.6900	0.7769	0.5427
d_rm3_duo	h2oloo	fullrank	nnlm	0.4547	0.9476	0.6794	0.7498	0.5270
ICIP_run1	ICIP	rerank	nnlm	0.3898	0.9630	0.6623	0.6283	0.4333
ICIP_run3	ICIP	rerank	nnlm	0.4479	0.9667	0.6528	0.6283	0.4360

• nnlm の RУ ンは trad および nn ルーンを、提出結果全体の NDCG@10 の観点から上回る。
• 文書検索では、最良の nnlm/ルーンが最良の trad を NDCG@10 で 23% 上回り、最良の nn は 11% 上回る；パッセージ検索ではそれぞれ 42% および 17% の差。
• エンドツーエンド fullrank はこのトラックで一貫して再ランキングを上回らない場合があり、いくつかのトップルーンは rerank、while fullrank は時に再ランキングを一致または僅差で上回る。
• ORCAS データの使用は同一グループ内で一般的に NDCG@10 を改善するが、トップスコアを得るためには必須ではなく、最大改善は約 0.0513 の NDCG@10 だった。
• MS MARCO と NIST ラベルの一致はタスクによって異なり、文書検索で Kendall の tau は 0.46、パッセージ検索で 0.69；ORCAS の使用はこれらの相関に影響を与える。
• このトラックはより多様な提出物を生み出し（nnlm および fullrank/rerank の比較が増え）、将来の研究の再利用可能なテストコレクションを提供した。