[論文レビュー] Self-Attentive Document Interaction Networks for Permutation Equivariant Ranking

Rama Kumar Pasumarthi, Xuanhui Wang+2 more|arXiv (Cornell University)|Oct 21, 2019

Information Retrieval and Search Behavior参考文献 44被引用数 10

ひとこと要約

本稿では、順列同変性を強制することで、サイズが異なる文書集合の効果的かつ効率的なスコアリングを可能にする自己注意ベースの文書相互作用ネットワークを提案する。この手法により、トレーニングとサービングの乖離が解消され、Web30k、Gmail Search、Google Drive Quick Access データセットにおいて、従来の単変量モデルおよび既存の多変量手法を上回り、MRR の顕著な向上と高速な推論を達成する。

ABSTRACT

How to leverage cross-document interactions to improve ranking performance is an important topic in information retrieval (IR) research. However, this topic has not been well-studied in the learning-to-rank setting and most of the existing work still treats each document independently while scoring. The recent development of deep learning shows strength in modeling complex relationships across sequences and sets. It thus motivates us to study how to leverage cross-document interactions for learning-to-rank in the deep learning framework. In this paper, we formally define the permutation-equivariance requirement for a scoring function that captures cross-document interactions. We then propose a self-attention based document interaction network and show that it satisfies the permutation-equivariant requirement, and can generate scores for document sets of varying sizes. Our proposed methods can automatically learn to capture document interactions without any auxiliary information, and can scale across large document sets. We conduct experiments on three ranking datasets: the benchmark Web30k, a Gmail search, and a Google Drive Quick Access dataset. Experimental results show that our proposed methods are both more effective and efficient than baselines.

研究の動機と目的

• 学習ランキングにおける文書間相互作用をモデル化するスコア関数に対して、順列同変性の要件を形式化すること。
• 従来の多変量スコア関数（例：GSF や RankProb）におけるトレーニングとサービングの乖離および非効率性を解消すること。
• 補助情報や固定順序の入力を必要とせず、スケーラブルで効率的かつ効果的な方法で文書相互作用を捉えること。
• 自己注意メカニズムが自然に順列同変性を満たしており、深層学習フレームワークに統合可能であることを示すこと。

提案手法

• すべての文書に対して注意スコアを計算する自己注意ベースの文書相互作用ネットワーク（attn-DIN）を提案し、入力順序に依存せずに相互作用をモデル化可能にする。
• 文書の順序を入れ替えた際にモデル出力が予測可能に変化することを保証することで、順列同変性を強制し、異なる入力順序に対しても一貫性を維持する。
• 自己注意層とフィードフォワードネットワークを組み合わせたワイド＆ディープアーキテクチャを用い、文書表現を集約して最終的な関連スコアを出力する。
• 単変量クエリ-文書スコア関数を拡張し、文書間注意プーリングを組み込むことで、再訓練なしに相互作用に配慮したスコアリングを可能にする。
• 文脈に応じた相互作用に焦点を当てる、正規化された注意メカニズムを採用し、関連する文書ペアに注目することで関連性推定を向上させる。
• リストワイズ損失関数を用いて、エンドツーエンドの学習ランキングフレームワークにモデルを適用し、相互作用信号と関連性信号を同時に最適化可能にする。

実験結果

リサーチクエスチョン

• RQ1 文書間相互作用をモデル化するスコア関数を、文書の順序にかかわらず一貫した振る舞いを示すように、順列同変性を満たすように設計可能か？
• RQ2 自己注意メカニズムをどのように活用すれば、計算効率を保ちつつ効果的に文書相互作用をモデル化できるか？
• RQ3 提案手法は、単変量モデルおよび GSF や RankProb などの既存の多変量手法と比較して、ランク付けの効果性と推論速度の両面で優れているか？
• RQ4 実世界のデータセット（多様な特徴タイプと大規模な候補集合を有する）において、文書間相互作用はどの程度ランク付け性能を向上させるか？

主な発見

• Gmail データセットにおいて、最良の GSF モデルに対して、MRR で +0.237 ± 0.206 の統計的に有意な相対的改善を達成した（p < 0.05）。
• Quick Access データセットでは、提案手法が単変量モデルを著しく上回ったが、GSF モデルは単変量ベースラインを改善できなかった。
• Web30k では、1クエリあたりの推論時間を 13 ms に短縮したのに対し、正確な GSF 推論は 2,240 ms であったため、優れた効率性を示した。
• 文書数が 200 に達するような大規模なグループサイズにおいても、モデルは高い性能を維持したが、GSF は複雑性の増加と近似誤差により性能が低下した。
• 提案モデルのパラメータ数は、多変量 GSF モデルよりも少なかったため、性能向上はモデル容量の増加ではなく、より優れた相互作用モデリングによるものであることが示された。
• 事前計算された類似度やクラスタ情報などの補助情報が不要であるにもかかわらず、従来の手法とは異なり、効果的に文書相互作用を捉えることができた。