[論文レビュー] Learning to Match Using Local and Distributed Representations of Text for Web Search

Bhaskar Mitra, Fernando Díaz+1 more|arXiv (Cornell University)|Oct 25, 2016

Topic Modeling被引用数 39

ひとこと要約

本論文では、ウェブ検索におけるクエリ-ドキュメントマッチングのためのローカル（正確な語句一致）および分散表現（単語埋め込みに基づく）を統合的に学習する、'デュエット'モデルと呼ばれる二重ニューラルネットワークアーキテクチャを提案する。両方の表現を1つのエンドツーエンドでトレーニング可能なモデルに統合することで、個々のモデルおよび従来のベースラインと比較して、ウェブページランク付けタスクにおいて顕著な性能向上を達成している。

ABSTRACT

Models such as latent semantic analysis and those based on neural embeddings learn distributed representations of text, and match the query against the document in the latent semantic space. In traditional information retrieval models, on the other hand, terms have discrete or local representations, and the relevance of a document is determined by the exact matches of query terms in the body text. We hypothesize that matching with distributed representations complements matching with traditional local representations, and that a combination of the two is favorable. We propose a novel document ranking model composed of two separate deep neural networks, one that matches the query and the document using a local representation, and another that matches the query and the document using learned distributed representations. The two networks are jointly trained as part of a single neural network. We show that this combination or `duet' performs significantly better than either neural network individually on a Web page ranking task, and also significantly outperforms traditional baselines and other recently proposed models based on neural networks.

研究の動機と目的

• ドキュメントランク付けにおいて、ローカル語句一致または分散埋め込みのいずれかに依存するという制限を克服すること。
• ローカル表現と分散表現を統合することで、ウェブ検索における関連性マッチングが向上するかを調査すること。
• 両方の表現タイプを活用するより良いランク付け性能を実現するための統合学習フレームワークを開発すること。
• 限られたクリックデータを伴う実世界のウェブページランク付けタスクにおいて、モデルの有効性を評価すること。

提案手法

• モデルは、正確な語句一致に基づくローカル表現用と、学習済みの単語埋め込みを用いた分散表現用の2つの独立した深層ニューラルネットワークを使用する。
• 各ネットワークは、それぞれの空間におけるクエリとドキュメント表現のマッチングによって関連性スコアを計算する。
• 2つのネットワークは、ランク付け性能を最適化するために、1つのエンドツーエンドでトレーニング可能なニューラルネットワークの一部として同時に学習される。
• 最終的なランク付けスコアは、両方のネットワークの出力の重み付き組み合わせである。
• モデルは、関連性判断が付与されたラベル付きのクエリ-ドキュメントペアを用いてトレーニングされ、NDCGを最適化する。
• アプローチは実世界のウェブ検索データセット上で評価され、各構成要素の寄与度を分析するためのアブレーションスタディが実施されている。

実験結果

リサーチクエスチョン

• RQ1 ローカル表現と分散表現を統合することで、単独で使用する場合と比較して、より良いドキュメントランク付けが達成されるか？
• RQ2 統合的にトレーニングされた二重ネットワークアーキテクチャは、BM25などの従来のIRモデルを上回る性能を示せるか？
• RQ3 個々の構成要素（ローカル対分散）は、全体のパフォーマンスにどのように寄与しているか？
• RQ4 長大なドキュメントランク付けタスクにおいて、デュエットモデルは単一ブランチのニューラルネットワークと比較してより良い一般化性能を示すか？

主な発見

• デュエットモデルは、ウェブページランク付けタスクにおいて、個々のネットワーク（ローカルのみ、分散のみ）を著しく上回っている。
• 従来のベースライン、例えばBM25や言語モデルアプローチと比較して、顕著な改善を達成している。
• DSSM や CDSSM などの最近のニューラルネットワークベースのモデルと比較しても、同じベンチマークで優れた性能を示している。
• アブレーションスタディの結果、ローカル表現と分散表現の両方がパフォーマンス向上に独自に寄与しており、組み合わせが最良の結果をもたらしていることが示された。
• モデルは強力な一般化性能を示しており、より大きなラベル付きデータセットが利用可能であれば、さらなる向上が期待できる。