[論文レビュー] Understanding the Behaviors of BERT in Ranking

Yifan Qiao, Chenyan Xiong+2 more|arXiv (Cornell University)|Apr 16, 2019

Topic Modeling参考文献 8被引用数 146

ひとこと要約

この論文はBERTベースのランクメソッドがMS MARCOのパッセージランキングとTREC Web Trackのアドホックランキングでどう機能するかを分析し、クロスクエリ相互作用によってMS MARCOで強い向上を示す一方、TRECスタイルのランキングでは効果が弱いことを示す。さらにBERTのアテンションパターンと語の一致挙動を検討する。

ABSTRACT

This paper studies the performances and behaviors of BERT in ranking tasks. We explore several different ways to leverage the pre-trained BERT and fine-tune it on two ranking tasks: MS MARCO passage reranking and TREC Web Track ad hoc document ranking. Experimental results on MS MARCO demonstrate the strong effectiveness of BERT in question-answering focused passage ranking tasks, as well as the fact that BERT is a strong interaction-based seq2seq matching model. Experimental results on TREC show the gaps between the BERT pre-trained on surrounding contexts and the needs of ad hoc document ranking. Analyses illustrate how BERT allocates its attentions between query-document tokens in its Transformer layers, how it prefers semantic matches between paraphrase tokens, and how that differs with the soft match patterns learned by a click-trained neural ranker.

研究の動機と目的

• 事前学習済みBERTをランキングタスクに活用する方法と、ベンチマーク間での有効性を調査する。
• 表現ベースと相互作用ベースのBERTランキング設定を比較する。
• ランキング中のBERTのアテンション分布と語句マッチング挙動を分析する。
• なぜBERTはMS MARCOで優れるがTRECアドホックランキングではそうではないのか、各設定でより効果的な信号を説明する。

提案手法

• MS MARCOとClueWebデータで4つのBERTベースランキングモデル（BERT Rep, Last-Int, Mult-Int, Term-Trans）を微調整する。
• 前提として事前学習済みBERT-Largeをバックボーンとして用い、関連性分類のエンドツーエンド微調整を行う。
• CLS埋め込みと線形またはクロスアテンションベースのスコアリングでq、d、またはqdシーケンスを表現する。
• MS MARCOとClueWeb上でBM25、LeToR、K-NRM、Conv-KNRMを基準としたIRメトリクスで評価。
• アテンション分布と語の一致挙動を分析して、BERTが何にアテンションを向け、どのように語句を一致させるかを理解する。

実験結果

リサーチクエスチョン

• RQ1 MS MARCOのパッセージランキングとTREC Web Trackのアドホックランキングで、異なるBERTベースランキング形式（Rep、Last-Int、Mult-Int、Term-Trans）はどの程度の性能を示すか？
• RQ2 BERTのクロスクエリ-ドキュメント相互作用がランキング性能をどの程度推進するか？
• RQ3 BERTのアテンションパターンと影響力のある語は、従来のニューラルランカーやユーザークリックベースの事前学習信号とどう異なるのか？
• RQ4 なぜMS MARCOではBERTが優れている一方、TRECアドホックタスクではそうでないのか、各設定でどの信号がより効果的か？

主な発見

• BERTベースのランカーはMS MARCOの性能を大幅に向上させ、相互作用ベースのバリアント（Last-Int、Mult-Int、Term-Trans）が初期モデルを上回り、強力なクロスクエスチョン-パッセージ相互作用が向上を牽引する。
• BERT（Rep）はqとdを個別に扱い、MS MARCOではほぼランダムと同等の性能となり、ランキングにはクロスシーケンス相互作用の重要性を浮き彫りにする。
• ClueWeb/TRECアドホックタスクでは、BERTベースのランカーは特徴量ベースのLeToRやBingクリックスプレードモデル（Conv-KNRM Bing）を上回らず、MARCOの事前学習信号はアドホックランキングにあまり転移しない。
• BERTは([CLS]、[SEP])などのマーカーによりアテンションが特定の語よりもマーカーに向きやすく、上層へ行くほどアテンションが分散する。マーカーはシーケンスを区別するうえで重要である。
• BERT（Last-Int）の影響力のある語はしばしばクエリの完全一致または近似的なパラフレーズであり、Conv-KNRMは緩い意味的連想に依存する。
• BERTの事前学習は周囲の文脈に基づく語対の意味的近さを好み、seq2seq風のランキングに合致する一方、アドホックランキングはユーザークリック前提の信号のほうがより効果的である。