[論文レビュー] Context-Aware Learning to Rank with Self-Attention

Przemyslaw Pobrotyn, Tomasz Bartczak+3 more|arXiv (Cornell University)|May 20, 2020

Advanced Image and Video Retrieval Techniques参考文献 35被引用数 25

ひとこと要約

この論文では、トレーニング時および推論時において、リスト内のアイテム同士の相互作用に基づいて動的にスコアを算出するコンテキスト対応ニューラルランクモデルを提案している。従来の学習対ランク手法とは異なり、アイテムを個別にスコア付けするのではなく、相互作用を考慮する。本手法は、最適化されたハイパーパrameterを用いた順序損失を用いることで、MSLR-WEB30Kで52.86の新しいSOTA NDCG@5を達成した。

ABSTRACT

Learning to rank is a key component of many e-commerce search engines. In learning to rank, one is interested in optimising the global ordering of a list of items according to their utility for users.Popular approaches learn a scoring function that scores items individually (i.e. without the context of other items in the list) by optimising a pointwise, pairwise or listwise loss. The list is then sorted in the descending order of the scores. Possible interactions between items present in the same list are taken into account in the training phase at the loss level. However, during inference, items are scored individually, and possible interactions between them are not considered. In this paper, we propose a context-aware neural network model that learns item scores by applying a self-attention mechanism. The relevance of a given item is thus determined in the context of all other items present in the list, both in training and in inference. We empirically demonstrate significant performance gains of self-attention based neural architecture over Multi-LayerPerceptron baselines, in particular on a dataset coming from search logs of a large scale e-commerce marketplace, Allegro.pl. This effect is consistent across popular pointwise, pairwise and listwise losses.Finally, we report new state-of-the-art results on MSLR-WEB30K, the learning to rank benchmark.

研究の動機と目的

• 従来の学習対ランクモデルが推論時にアイテム同士の依存関係を無視するという制限を解消すること。
• 自己注意を用いてリスト内のアイテム間の文脈的関係を捉えるニューラルスコア関数を開発し、動的な関連性評価を可能にすること。
• ベンチマークおよび実世界のeコマースデータの両方で、ポイントワイズ、ペairワイズ、リストワイズの損失関数を用いて提案モデルの評価を行うこと。
• 特にNDCG@5において、MSLR-WEB30Kベンチマークで新しいSOTA性能を確立すること。
• 異なる損失関数およびハイパーパrameterがモデルの一般化性能および性能に与える影響を調査すること。

提案手法

• アイテムの関連性を文脈的にモデル化するために、マルチヘッド自己注意を用いた変形トランスフォーマー・アーキテクチャを適応し、各アイテムがリスト内の他のすべてのアイテムに注目できるようにする。
• 順序に依存しない、学習可能なパーミュテーション不変スコア関数を採用し、ランク付けタスクに適した構造を実現する。
• 相対的なアイテム位置を捉えるために、学習可能な位置エンコーディングを適用し、再ランク付けシナリオで特に有効である。
• 残差接続とフィードフォワードネットワークを用いたマルチレイヤーエンコーダーにより、文脈表現を精錬する。
• 順序損失、NDCGLoss 2++、RMSE、ListNet、LambdaRank、ListMLE、RankNet など、さまざまな損失関数を用いてモデルを訓練する。
• ドロップアウト、バッチ正則化、ハイパーパrameterチューニングを適用し、過学習を抑制し、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 自己注意ベースのモデルは、損失関数だけでなくスコア関数においても、アイテム間の依存関係をモデル化することでランク付け性能を向上させることができるか？
• RQ2 ポイントワイズ、ペアワイズ、リストワイズの損失関数の各々において、自己注意モデルはMLPベースラインと比較してどのように性能を発揮するか？
• RQ3 位置エンコーディングの導入は、再ランク付けタスクにおいて性能向上に寄与するか？
• RQ4 MSLR-WEB30Kで最高の一般化性能と最高のNDCG性能を達成する損失関数はどれか？
• RQ5 ドロップアウト率、ヘッド数、レイヤー数などのハイパーパラメータの設定で、過学習を避けて最適な性能が得られるのはどの組み合わせか？

主な発見

• 自己注意モデルは、MSLR-WEB30Kベンチマークで52.86の新しいSOTA NDCG@5を達成し、以前の結果を上回った。
• 順序損失、NDCGLoss 2++、LambdaRank、ListMLE など、すべてのテスト損失関数において、MLPベースラインを著しく上回った。
• 順序損失で訓練されたモデルが、NDCGLoss 2++ や LambdaRank といったよく知られた損失関数を上回る最高の性能を達成した。
• アブレーションスタディの結果、ドロップアウト率0.3および隠れ層次元1024が最適な性能をもたらすことが判明した。一方、より高いドロップアウト率や2つ以上の自己注意ヘッド数は結果を劣化させた。
• 位置エンコーディングを含むモデルは再ランク付けタスクでより高い性能を示し、リスト順序における位置情報の価値を裏付けた。
• 自己注意のための推論複雑度はO(n²)であるが、蒸留、量子化、またはプルーニングなどの技術を用いることで、遅延に敏感な環境への導入が可能である。