[論文レビュー] SetRank: Learning a Permutation-Invariant Ranking Model for Information Retrieval

Liang Pang, Jun Xu+4 more|arXiv (Cornell University)|Dec 12, 2019

Data Management and Algorithms参考文献 39被引用数 15

ひとこと要約

SetRank は、文書集合の同時埋め込みと情報検索のための多次元スコア関数を学習するためにスタックされたマルチヘッド自己注意ブロックを使用する順序不変なニューラルランク付けモデルである。文書間の相互作用を捉えながらも、入力順序やサイズの変動に対して頑健であるため、従来の学習-ランク付けモデルおよび最先端の学習-ランク付けモデルを上回る性能を発揮する。

ABSTRACT

In learning-to-rank for information retrieval, a ranking model is automatically learned from the data and then utilized to rank the sets of retrieved documents. Therefore, an ideal ranking model would be a mapping from a document set to a permutation on the set, and should satisfy two critical requirements: (1)~it should have the ability to model cross-document interactions so as to capture local context information in a query; (2)~it should be permutation-invariant, which means that any permutation of the inputted documents would not change the output ranking. Previous studies on learning-to-rank either design uni-variate scoring functions that score each document separately, and thus failed to model the cross-document interactions; or construct multivariate scoring functions that score documents sequentially, which inevitably sacrifice the permutation invariance requirement. In this paper, we propose a neural learning-to-rank model called SetRank which directly learns a permutation-invariant ranking model defined on document sets of any size. SetRank employs a stack of (induced) multi-head self attention blocks as its key component for learning the embeddings for all of the retrieved documents jointly. The self-attention mechanism not only helps SetRank to capture the local context information from cross-document interactions, but also to learn permutation-equivariant representations for the inputted documents, which therefore achieving a permutation-invariant ranking model. Experimental results on three large scale benchmarks showed that the SetRank significantly outperformed the baselines include the traditional learning-to-rank models and state-of-the-art Neural IR models.

研究の動機と目的

• 文書を独立してスコア化する従来の学習-ランク付けモデルの限界を解決し、文書間の相互作用をモデル化する。
• 初期文書順序に依存する順序的多次元モデルの順序感受性を克服する。
• 入力文書の順序に依存しないが、文書相互作用からの局所的文脈を捉えるランク付けモデルを開発する。
• 複数の初期ランクを入力特徴として効果的に活用し、ランク付け精度を向上させる。
• 文書集合サイズの変動にわたって頑健な性能を達成する。

提案手法

• 集合に含まれるすべての文書の文脈的埋め込みを同時に学習するために、（誘導された）マルチヘッド自己注意ブロックのスタックを用いる。
• 自己注意メカニズムを活用して順序同値性を持つ表現を生成し、最終的なランク付け出力における順序不変性を保証する。
• 最終的な自己注意出力表現からランクスコアを生成するために、行方向の全結合ネットワークを適用する。
• 順序埋め込みを組み込んで、ゼロ、一つ、または複数の初期ランクを入力特徴として符号化する。
• 可変サイズの文書集合を固定数のクラスタ中心に射影する誘導注意メカニズム（IMSAB）を用い、集合サイズの変動にわたる一般化を向上させる。
• NDCG などのランク付け指標を最適化するために、ラベル付き関連性データを用いてモデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルランク付けモデルは、文書間の相互作用を効果的にモデル化しつつ、順序不変性を達成できるか？
• RQ2 SetRank の性能は、さまざまなベンチマークにおいて従来の学習-ランク付けモデルおよび最先端のニューラルIRモデルと比較してどの程度か？
• RQ3 複数の初期ランクを組み込むことで、SetRank のランク付け精度はどの程度向上するか？
• RQ4 特にトレーニング時とテスト時の集合サイズが異なる場合に、SetRank は文書集合サイズの変動に対してどの程度頑健か？
• RQ5 標準的なマルチヘッド自己注意と比較して、誘導されたマルチヘッド自己注意（IMSAB）は入力サイズへの感受性を低減するか？

主な発見

• SetRank は、LambdaMART や Deep Learning for Ranking (DLCM) および他のニューラルIRモデルを含むベースラインモデルを、3つのスケーラブルなベンチマークで顕著に上回った。
• TREC Web Track 2014 データセットでは、SetRank は NDCG@10 が 0.6737 を達成し、次に良いモデルより 0.0105 ポイント高い性能を示した。
• 40件の文書集合で学習し、240件の文書集合でテストした場合、SetRank IMSAB は NDCG@10 で 0.0049 の性能低下を示したのに対し、DLCM ${}^{w/o ext{ }init}$ は 0.0334 の低下を示し、集合サイズの変化に対して優れた頑健性を示した。
• 1つの初期ランク（例：LambdaMART からのもの）を組み込むことで、初期ランクなしのバージョンに比べて SetRank の性能が向上し、NDCG@10 は 0.6737 から 0.6834 に上昇した。
• 4つの初期ランクを用いることで、1つの初期ランクを用いる場合と比較してわずかな向上しか得られず、高品質な初期ランク（例：LambdaMART）が信号を支配するため、追加のランクはあまり有益でないことが示唆された。
• SetRank IMSAB は、SetRank MSAB よりもテスト集合サイズの変化に対してはるかに感受性が低く、40件から240件の文書に移行した際の NDCG@10 の性能低下は 0.0164 対 0.0049 であり、誘導注意が一般化を向上させることを示している。