[論文レビュー] Co-BERT: A Context-Aware BERT Retrieval Model Incorporating Local and Query-specific Context

Xiaoyang Chen, Kai Hui+4 more|arXiv (Cornell University)|Apr 17, 2021

Topic Modeling参考文献 42被引用数 9

ひとこと要約

Co-BERTは、局所的なランク付け文脈（ドキュメント間相互作用）とクエリ固有の文脈（仮想関連フィードバックを介して）を統合して共同でモデリングすることにより、文脈に配慮したBERTベースの再ランク付けモデルを提案する。プロトタイプドキュメントを用いたクエリ-ドキュメント表現のキャリブレーションと、ドキュメントグループの共同スコアリングにより、Co-BERTは最先端の性能を達成し、GOV2データセットにおいてBERT-Baseに対してnDCG@20を14.7%、MAP@1Kを13.9%向上させる。

ABSTRACT

BERT-based text ranking models have dramatically advanced the state-of-the-art in ad-hoc retrieval, wherein most models tend to consider individual query-document pairs independently. In the mean time, the importance and usefulness to consider the cross-documents interactions and the query-specific characteristics in a ranking model have been repeatedly confirmed, mostly in the context of learning to rank. The BERT-based ranking model, however, has not been able to fully incorporate these two types of ranking context, thereby ignoring the inter-document relationships from the ranking and the differences among queries. To mitigate this gap, in this work, an end-to-end transformer-based ranking model, named Co-BERT, has been proposed to exploit several BERT architectures to calibrate the query-document representations using pseudo relevance feedback before modeling the relevance of a group of documents jointly. Extensive experiments on two standard test collections confirm the effectiveness of the proposed model in improving the performance of text re-ranking over strong fine-tuned BERT-Base baselines. We plan to make our implementation open source to enable further comparisons.

研究の動機と目的

• BERTベースのモデルがクエリ-ドキュメントペアを独立して扱うという限界を是正する。これには、ドキュメント間の関係性やクエリ固有の特徴が無視されている。
• 局所的なランク付け文脈（ドキュメント間相互作用）とクエリ固有の文脈（仮想関連フィードバックを介して）を、1つのBERTベースのランク付けフレームワークに統合する。
• 強力なファインチューニング済みBERT-Baseベースラインを上回る再ランク付け性能を向上させる、エンドツーエンドでトレーニング可能なモデルを開発する。
• コンテキスト情報をBERTアーキテクチャに効果的に組み込む一方で、計算コストの増加を最小限に抑える。
• オープンソースリリースの計画と、DPR や ColBERT などの他のモデルへの将来的な拡張を想定して、より広範な適用可能性を実現する。

提案手法

• 各クエリごとにプロトタイプドキュメントを生成する仮想関連フィードバック（PRF）を用い、クエリ-ドキュメント相互作用表現のキャリブレーションに使用する。
• 隣接するグループ間でドキュメントが重複するようにバッチを構築し、局所的なランク付け文脈を保存する。
• マルチヘッド自己注意に基づくグループワイドスコアラーを適用し、バッチ内の複数ドキュメントの関連スコアを同時にモデリングする。
• PRFでキャリブレートされた表現を入力として、バッチ内のドキュメントとクエリを文脈に配慮した形でBERTに供給する。
• 標準的なランク付け損失（例：ペairワイズまたはリストワイズ）を用い、バッチ順序と重複度を最適化することで、エンドツーエンドでモデルをトレーニングする。
• 各グループ内の各ドキュメントの最終関連スコアを予測するために、BERTのCLS表現の上に密層のスタックを適用する。

実験結果

リサーチクエスチョン

• RQ1 BERTベースの再ランカに、局所的なランク付け文脈（ドキュメント間相互作用）を組み込むことで、リtrieval性能が向上するか？
• RQ2 仮想関連フィードバックを介してモデル化されたクエリ固有の文脈は、アドホックリtrievalにおけるBERTの表現能力を向上させるか？
• RQ3 計算コストが著しく増加しない範囲で、1つのBERTベースアーキテクチャ内に局所的およびクエリ固有の文脈を同時にモデリングすることは可能か？
• RQ4 バッチの順序と構造（重複あり）は、モデルの収束性と性能にどのように影響するか？
• RQ5 Co-BERTは、効果性と効率性の両面で、既存のBERTベースおよび非BERTニューラルIRモデルを上回ることができるか？

主な発見

• GOV2データセットにおいて、Co-BERTはBERT-Base（MS Marco）に対してnDCG@20を14.7%、MAP@1Kを13.9%向上させ、顕著な向上を示した。
• Robust04では、同じBERT-Baseベースラインに対してnDCG@20が2.0%向上、MAP@1Kが6.6%向上した。
• GOV2では最近提案されたBERT-QEモデルを大きく上回り、Robust04でも著しい計算コストの低さを維持しながら、競争力ある性能を達成した。
• バッチサイズ64が両データセットで最適な性能を示し、モデルの安定性とハードウェア制約のバランスを示している。
• プロトタイプドキュメントが4つ未満（例：m=3）の設定では、特にRobust04で顕著な性能低下が見られ、PRFキャリブレーションの十分な量の必要性を強調している。
• バッチ間の重複度が0より大きい（o > 0）と、浅いプール（特にGOV2）において性能が向上し、ドキュメントの連続性が学習を支援することが示唆された。