[論文レビュー] An Attention-Based Deep Net for Learning to Rank

Baiyang Wang, Diego Klabjan|arXiv (Cornell University)|Feb 20, 2017

Advanced Image and Video Retrieval Techniques参考文献 21被引用数 10

ひとこと要約

本論文では、クエリと検索結果の両方に二重アテンション機構を用いて、複数の埋め込み（例：word2vec、CBOW、GLOVE）を統合する注目型深層ニューラルネットワークを提案し、柔軟なリストワイズランキングを可能にする。このモデルは、画像検索およびテキスト検索データセットにおいて最先端の性能を達成しており、AttRN-HLはベンチマーク全体で最も安定した結果を示している。

ABSTRACT

In information retrieval, learning to rank constructs a machine-based ranking model which given a query, sorts the search results by their degree of relevance or importance to the query. Neural networks have been successfully applied to this problem, and in this paper, we propose an attention-based deep neural network which better incorporates different embeddings of the queries and search results with an attention-based mechanism. This model also applies a decoder mechanism to learn the ranks of the search results in a listwise fashion. The embeddings are trained with convolutional neural networks or the word2vec model. We demonstrate the performance of this model with image retrieval and text querying data sets.

研究の動機と目的

• 複数の多様な語彙埋め込み（例：CBOW、スキップグラム、GLOVE）をニューラルランキングモデルに統合することで、ラーニング・トゥ・ランクの性能を向上させること。
• 単一埋め込みモデルの限界を克服するため、関連性に基づいて動的に異なる埋め込みを重み付するアテンション機構を用いること。
• 1回のフォワードパスで全結果順序を出力するデコーダ機構を用いて、リストワイズランキングを可能にすること。
• テキストおよび画像検索を含む多様なリtrievalタスクにおいて、モデルの有効性を実証すること。
• 単一の埋め込みやモデルアーキテクチャに依存するのを減らすことで、より堅牢で正確なランキングシステムを提供すること。

提案手法

• クエリと検索結果の両方に別々のアテンション層を適用する二重アテンション機構を採用し、異なる埋め込みを動的に重み付する。
• 訓練中に固定されるように、事前学習済み語彙埋め込み（CBOW、スキップグラム、GLOVE）を入力特徴として使用する。
• ReLU活性化関数を用いた多層フィードフォワードネットワークを、クエリおよびドキュメント表現の処理に適用する。
• 最終的な順序リストをリストワイズに生成するデコーダ機構を統合し、NDCGおよびMAP指標を最適化する。
• 再帰的ニューラルネットワーク（RNN）構造を用いて計算されるアテンション重みを通じて、文脈に応じた特徴統合を実現する。
• ペairワイズおよびリストワイズのランキング目的を用いた教師あり学習でモデルをキャリブレーションし、確率的勾配降下法でランキング損失を最小化する。

実験結果

リサーチクエスチョン

• RQ1 アテンション機構は、情報検索における順序付け性能を向上させるために、複数の事前学習済み語彙埋め込みを効果的に統合できるか？
• RQ2 デコーダ機構を備えたリストワイズ順序付けアプローチは、複雑なリtrievalタスクにおいて、従来のペアワイズまたはポイントワイズ手法を上回るか？
• RQ3 クエリと結果の両方に適用される二重アテンション機構は、単一埋め込みモデルと比較して、特徴表現をどのように向上させるか？
• RQ4 提案されたモデルは、テキストおよび画像検索を含む多様なリtrievalドメインにおいて堅牢か？
• RQ5 アテンションを用いて複数の埋め込みを統合することで、単一の埋め込みタイプを使用する場合と比較して、モデルの分散を低減し一般化性能を向上させられるか？

主な発見

• 20 Newsgroupsデータセットでは、AttRN-SMが14.78%のMAP誤差率を記録し、OASIS-1（15.56%）およびすべてのSVMおよびLambdaMARTベースラインを上回った。
• NDCG@3では、AttRN-SMが16.87%の誤差率を示し、OASIS-1（17.83%）およびRSVM-100k（34.62%）を大きく下回り、優れた順序付け品質を示した。
• 同じデータセットにおいて、AttRN-HLは14.79%のMAP誤差率および16.93%のNDCG@3誤差率を記録し、2番目の高い性能を示し、複数の指標で強い堅牢性を示した。
• スーパークラス（より厳しい指標）での評価では、AttRN-HLは30.19%のMAP誤差率を維持し、OASIS-3（30.15%）およびすべてのSVM/LambdaMART変種を上回った。
• 同様のデータにおいて、Ranking SVMおよびLambdaMARTなどのベースライン手法は、より高い誤差率（例：RSVM-20kでは35.87%のMAP）を示したのに対し、本モデルは一貫して優れた性能を示した。
• 3つのデータセット全体で最も堅牢な性能を示したため、AttRN-HLは実世界の応用における推奨モデルと特定された。