[論文レビュー] Conformer-Kernel with Query Term Independence for Document Retrieval

Bhaskar Mitra, Sebastian Hofstätter+2 more|arXiv (Cornell University)|Jul 20, 2020

Topic Modeling参考文献 60被引用数 17

ひとこと要約

本稿では、メモリ効率の良いニューラルランキングモデルであるConformer-Kernel with Query Term Independence (CK-with-QTI) を提案する。このモデルは、完全なリtrievalを対象としたTransformer-Kernel (TK) アーキテクチャの拡張である。自己注意機構を線形時間計算量のConformer層に置き換え、明示的な語彙マッチングを統合することで、TREC 2019 で競争力のある性能を達成するとともに、GPUメモリ使用量を削減し、大規模なドキュメントコレクションからの直接リtrievalを可能にした。

ABSTRACT

The Transformer-Kernel (TK) model has demonstrated strong reranking performance on the TREC Deep Learning benchmark---and can be considered to be an efficient (but slightly less effective) alternative to BERT-based ranking models. In this work, we extend the TK architecture to the full retrieval setting by incorporating the query term independence assumption. Furthermore, to reduce the memory complexity of the Transformer layers with respect to the input sequence length, we propose a new Conformer layer. We show that the Conformer's GPU memory requirement scales linearly with input sequence length, making it a more viable option when ranking long documents. Finally, we demonstrate that incorporating explicit term matching signal into the model can be particularly useful in the full retrieval setting. We present preliminary results from our work in this paper.

研究の動機と目的

• 長文ドキュメントリtrievalにおけるTransformer自己注意機構の2次関数的メモリ複雑性を解決する。
• 候補セットの再ランク付けにとどまらず、完全なコレクションからのエンドツーエンドのドキュメントリtrieバルを可能にする。
• 標準的なTransformerを新しいConformer層に置き換えることで、効率性とスケーラビリティを向上させる。
• 潜在的意味マッチングを補完し、誤検出を低減するため、明示的な語彙マッチングを統合する。
• TKスタイルのモデルが、推論コストを低く保ちつつ、完全リtrieバルに適応可能であることを示す。

提案手法

• 標準的なTransformer層を、メモリ複雑度を O(n²) から O(n × d_key) に低減する新しいConformer層に置き換えることで、シーケンス長に比例して線形にスケーリング可能な構造を実現する。
• クエリ語彙独立性 (QTI) の仮定を組み込むことで、クエリとドキュメントの独立した符号化を可能にし、ドキュメント表現の事前計算を可能にする。
• 微分可能な語彙マッチングサブモデルとして、学習可能なBM25コンponentを導入し、リtrieバルプロセスにおける語彙信号の強化を図る。
• Conformerに基づく潜在的マッチング関数とは並列に動作する、明示的な語彙マッチングヘッドをTKモデルに拡張する。
• トップランクの候補から弱い教師信号を得て、それらを正例として扱い、エンドツーエンドでモデルを訓練する。
• ランキング性能の向上を図るため、ORCASフィールド記述子を追加のドキュメント特徴として使用する。

実験結果

リサーチクエスチョン

• RQ1 線形メモリ複雑度を持つConformerベースアーキテクチャは、長文ドキュメントの有効な完全リtrieバルを可能にするか？
• RQ2 明示的な語彙マッチングを統合することで、潜在的マッチングのみに依存する場合と比較して、完全リtrieバルの性能はどの程度向上するか？
• RQ3 QTI仮定は、事前エンコーディングを可能にする効率的でスケーラブルなリtrieバルをどの程度可能にするか？
• RQ4 深層学習による事前学習を行わない浅いモデル、たとえばConformer-Kernelは、完全リtrieバルベンチマークで競争力のある性能を達成できるか？
• RQ5 Conformerと語彙マッチングサブモデルの組み合わせは、TREC 2019におけるMRRおよびNDCGスコアにどのように影響を与えるか？

主な発見

• Conformer-Kernelモデルは、TREC 2019の完全テストセットにおいてMRR 0.845、NDCG@10 0.554を達成し、非ニューラルベースラインおよびDeepCTモデルを上回った。
• 学習可能なBM25を追加することで、MRR 0.906、NDCG@10 0.603まで性能が向上し、明示的な語彙マッチングの有効性が示された。
• ORCASフィールド記述子を組み込むことで、NDCG@10はさらに0.620まで上昇し、補助的ドキュメント特徴の価値が裏付けられた。
• Conformer層のおかげで、GPUメモリ使用量は入力長に比例して線形に増加する一方、標準的なTransformerの2次関数的増加とは対照的であった。
• 非Bertベースの最良のランク付け（BM25+RM3）を上回るMRRおよびNDCG@10性能を達成したため、完全リtrieバルにおける強力な一般化能力が示された。
• 非Bertベースのモデルを上回ったが、BERTベースのモデル（例：0.961 MRR）にはまだ劣っていることから、事前学習によるさらなる改善の余地があることが示唆された。