[論文レビュー] Modeling Document Interactions for Learning to Rank with Regularized Self-Attention

Shuo Sun, Kevin Duh|arXiv (Cornell University)|May 8, 2020

Topic Modeling参考文献 30被引用数 4

ひとこと要約

本稿では、集合内のドキュメント同士の相互作用をモデル化する正則化付き自己注意機構を提案し、標準のニューラルランキングモデルよりもランキング性能を向上させている。注意重みにターゲットを絞った正則化を導入することで、モデルはより意味のあるドキュメント相互作用を学習し、LETORベンチマークデータセットで最先端の結果を達成している。

ABSTRACT

Learning to rank is an important task that has been successfully deployed in many real-world information retrieval systems. Most existing methods compute relevance judgments of documents independently, without holistically considering the entire set of competing documents. In this paper, we explore modeling documents interactions with self-attention based neural networks. Although self-attention networks have achieved state-of-the-art results in many NLP tasks, we find empirically that self-attention provides little benefit over baseline neural learning to rank architecture. To improve the learning of self-attention weights, We propose simple yet effective regularization terms designed to model interactions between documents. Evaluations on publicly available Learning to Rank (LETOR) datasets show that training self-attention network with our proposed regularization terms can significantly outperform existing learning to rank methods.

研究の動機と目的

• 既存の学習順序ランクモデルが、競合するドキュメントを考慮せずに関連スコアを独立して計算するという制限を解決すること。
• 自己注意機構が順序ランクタスクにおいてドキュメント相互作用を効果的にモデル化できるかどうかを調査すること。
• ドキュメント間の意味のある注意パターンを促進する正則化項を導入することで、自己注意機構の性能を向上させること。
• ドキュメント集合の文脈を活用し、より良い関連スコアを生成する、自己完結的でエンドツーエンドの学習順序ランクモデルを開発すること。

提案手法

• モデルは、各ベクトルが特徴関数φを介してクエリ-ドキュメントペアから導出されたドキュメント特徴ベクトルの集合を入力とするListNetベースのニューラルネットワークアーキテクチャを採用している。
• 自己注意レイヤーは、各ドキュメントのクエリ、キー、値の表現を計算し、全ドキュメント集合にわたるドキュメント間関係を注意重みが捉えることを可能にしている。
• 注意重みを制約するための新しい正則化項が損失関数に導入されており、無情報的または一様な注意パターンを罰することで、ドキュメント間のより意味のある相互作用を促進している。
• 正則化は、注意行列の均一性からの偏差の重み付き和として定式化されており、注意が関連ドキュメントペアに集中するよう促している。
• モデルは、追加の正則化を伴う、予測された上位1件の確率分布と真値の分布との間の交差エントロピー（サーヴィェイランスリストワイズ損失）を用いて訓練されている。
• 推論時、モデルは全セットの文脈を用いて、すべてのドキュメントの関連スコアを同時に計算し、予測スコアに基づいて順序付けられている。

実験結果

リサーチクエスチョン

• RQ1 標準のニューラルモデルが達成する水準を上回る、自己注意機構が学習順序ランクにおいてドキュメント相互作用を効果的にモデル化できるか？
• RQ2 理論的には相互作用をモデル化できるにもかかわらず、なぜヴァナイルな自己注意機構は標準ベンチマークでランキング性能を向上させないのか？
• RQ3 自己注意機構がより意味のあるドキュメント相互作用を学習するように導くために、どのように正則化を設計できるか？
• RQ4 正則化付き自己注意を用いてドキュメント集合の文脈を組み込むことで、NDCG や MAP といった標準的な情報検索指標に測定可能な改善が得られるか？

主な発見

• 提案された正則化付き自己注意モデルは、Yahoo、MSLR-WEB10K、Istella LETOR データセットにおいて、標準のListNetや他の強力なベースラインを顕著に上回っている。
• 実証的分析から、正則化なしの自己注意機構は注意重みがほぼ一様であることが判明しており、これは相互作用モデリングが不十分であることを示している。
• 正則化項は注意の均一性を効果的に低減し、関連ドキュメントペアを区別するモデルの能力を向上させている。
• モデルは、3つのベンチマークデータセットすべてで最先端の性能を達成しており、正則化付き注意を用いたドキュメント集合の文脈統合の有効性が裏付けられている。
• NDCG や MAP を含む複数の評価指標において、改善が一貫して得られており、包括的なドキュメント相互作用モデリングの利点が確認されている。