[論文レビュー] HLATR: Enhance Multi-stage Text Retrieval with Hybrid List Aware Transformer Reranking

Yanzhao Zhang, Dingkun Long+2 more|arXiv (Cornell University)|May 21, 2022

Topic Modeling被引用数 12

ひとこと要約

HLATRは、マルチステージテキストリtrievalにおける検索段階と再順序付け段階の特徴を統合する軽量でリストに注意を払う変換器再順序付けモデルを提案する。検索順位から導出される位置に注意を払う埋め込みと、BERTベースの関連性スコアを用いる。最小限の推論コストで最先端の性能を達成し、MS MARCO Passageデータセットではベースライン比でMRR@10が最大4.3ポイント向上、Documentデータセットでは3.5ポイント向上を達成する。

ABSTRACT

Deep pre-trained language models (e,g. BERT) are effective at large-scale text retrieval task. Existing text retrieval systems with state-of-the-art performance usually adopt a retrieve-then-reranking architecture due to the high computational cost of pre-trained language models and the large corpus size. Under such a multi-stage architecture, previous studies mainly focused on optimizing single stage of the framework thus improving the overall retrieval performance. However, how to directly couple multi-stage features for optimization has not been well studied. In this paper, we design Hybrid List Aware Transformer Reranking (HLATR) as a subsequent reranking module to incorporate both retrieval and reranking stage features. HLATR is lightweight and can be easily parallelized with existing text retrieval systems so that the reranking process can be performed in a single yet efficient processing. Empirical experiments on two large-scale text retrieval datasets show that HLATR can efficiently improve the ranking performance of existing multi-stage text retrieval methods.

研究の動機と目的

• マルチステージテキストリtrievalシステムにおける検索段階と再順序付け段階を同時に最適化するというギャップを埋めること。
• 粗い検索特徴と微細な再順序付け特徴を効果的に統合することで、順序付け性能を向上させること。
• 既存のリtrieバルパイプラインにスムーズに統合できる軽量で並列処理可能な再順序付けモジュールを設計すること。
• アテンション機構を用いたリストに注意を払うモデリングが、単純なモデルよりも文書の関連性依存関係をよりよく捉えられることを検証すること。
• 不均衡なテキスト順序付けデータにおいて、対照学習損失が二値交差エントロピー損失よりも効果的であることを示すこと。

提案手法

• 各トークンが文書を表す変換器エンコーダを用い、入力埋め込みは事前に訓練された再順序付けモデルの関連性スコアから構成される。
• 位置埋め込みは初期検索リストにおける文書の順位から導出され、リストに注意を払うモデリングを可能にする。
• 一般化性能を向上させるために、関連性順序付けを最適化するための対照学習目的関数を採用する。
• アーキテクチャの見直しが不要なプラグインモジュールとして設計されており、任意の既存のリtrieバルおよび再順序付けパイプラインに統合可能である。
• パラメータ数が少ない軽量なアーキテクチャであり、高速な推論（1000クエリあたり2ms）を実現している。
• アブレーションスタディでは、MLPに変換器エンコーダを置き換えたバージョンと、二値交差エントロピー損失に置き換えたバージョンを比較し、設計選択の妥当性を検証している。

実験結果

リサーチクエスチョン

• RQ1 検索段階の順位と再順序付け段階の関連性スコアを統合することで、全体のテキストリtrieval性能が向上するか？
• RQ2 リストに注意を払う変換器アーキテクチャは、リストに注意を払わないモデルよりも再順序付けタスクで効果的か？
• RQ3 不均衡なテキスト順序付けデータの文脈において、対照学習が二値交差エントロピー損失を上回るか？
• RQ4 HLATRモデルのアーキテクチャ設計（深さ、幅）は、そのパフォーマンスと効率性にどのように影響するか？
• RQ5 HLATRは、推論コストを著しく増加させることなく、実世界のシステムに効率的にデプロイ可能か？

主な発見

• MS MARCO Passageデータセットでは、HLATRがMRR@10で42.6を達成し、最良のベースライン（WCR）を0.8ポイント上回った。
• MS MARCO Documentデータセットでは、HLATRが検索段階のMRR@10 39.4から43.5に向上し、4.1ポイントの改善を達成した。
• アブレーションスタディでは、変換器エンコーダを2層のMLPに置き換えると性能が低下し、リスト依存関係をモデル化する際にアテンション機構の重要性が確認された。
• 二値交差エントロピー損失を対照学習損失に置き換えると、MRR@10が0.9ポイント低下し、対照学習が不均衡な順序付けデータに適していることが示された。
• HLATRは1000クエリあたりわずか2msの推論時間を達成しており、BERT-baseおよびBERT-largeモデルの300〜450倍も高速である。
• 最適なパフォーマンスは、小さな隠れ次元（d=128）と3〜4層の変換器層で達成されており、特徴統合には高容量は不要であることが示された。