[論文レビュー] A Dual Embedding Space Model for Document Ranking

Bhaskar Mitra, Eric Nalisnick+2 more|arXiv (Cornell University)|Feb 2, 2016

Topic Modeling参考文献 52被引用数 103

ひとこと要約

DESM は word2vec の dual embedding spaces を用いる (IN はクエリ語、OUT は文書語) ことで コサイン類似度を集約してクエリ-文書の関連度を評価する; BM25 でリランキングした場合にトップ位置の ranking を改善するが、より大きな候補集合では偽陽性が生じる可能性があり、BM25-DESM の混合で緩和される。

ABSTRACT

A fundamental goal of search engines is to identify, given a query, documents that have relevant text. This is intrinsically difficult because the query and the document may use different vocabulary, or the document may contain query words without being relevant. We investigate neural word embeddings as a source of evidence in document ranking. We train a word2vec embedding model on a large unlabelled query corpus, but in contrast to how the model is commonly used, we retain both the input and the output projections, allowing us to leverage both the embedding spaces to derive richer distributional relationships. During ranking we map the query words into the input space and the document words into the output space, and compute a query-document relevance score by aggregating the cosine similarities across all the query-document word pairs. We postulate that the proposed Dual Embedding Space Model (DESM) captures evidence on whether a document is about a query term in addition to what is modelled by traditional term-frequency based approaches. Our experiments show that the DESM can re-rank top documents returned by a commercial Web search engine, like Bing, better than a term-matching based signal like TF-IDF. However, when ranking a larger set of candidate documents, we find the embeddings-based approach is prone to false positives, retrieving documents that are only loosely related to the query. We demonstrate that this problem can be solved effectively by ranking based on a linear mixture of the DESM and the word counting features.

研究の動機と目的

• Term matching を超えたクエリ文書の aboutness モデリングの改善を動機づける。
• クエリには IN、文書には OUT を用いるデュアル埋め込み空間表現を提案し、aboutness の分布的証拠を捉える。
• DESM ランキング特徴量を定義し、クエリ語と文書セントロイドとのコサイン類似度を平均化する。
• 大規模な Web 検索データにおいて、DESM をリランキング信号として、また BM25 と組み合わせて評価する。
• DESM の長所と限界を分析し、偽陽性への感度や telescoping 対 non-telescoping 設定での性能を含めて検討する。）

提案手法

• 大規模なラベルなしのクエリコーパス上で word2vec CBOW モデルを訓練し、IN と OUT の埋め込みを取得する。
• DESM スコアを、各クエリ語（IN）と文書セントロイドとのコサイン類似度の平均として計算する（DOC 内の正規化された語ベクトル） (DESM_IN-OUT)。
• クエリ語と文書語の両方に IN 埋め込みを用いる DESM_IN-IN のバリアントを定義する。
• クエリ時の効率的なランキングを可能にするために文書セントロイドを事前計算する。
• 線形混合 MM(Q,D)=alpha*DESM(Q,D)+(1-alpha)*BM25(Q,D) により DESM と BM25 を組み合わせ、held-out の訓練セットで alpha を調整する。
• telescoping および non-telescoping 評価設定の下で、DESM のバリアントと混合を BM25 および LSA のベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 デュアル埋め込み空間（クエリには IN、文書には OUT/IN） は、従来の語と一致させる手法よりもクエリ-文書の aboutness をより適切に捉えることができるか？
• RQ2 DESM は単独のランキング信号としてどの程度機能するか、BM25 と組み合わせた場合と比べてはどうか？
• RQ3 DESM の特徴は関連性の薄い語や欺瞞的な語詰めに対して頑健か、どの評価設定で優れているかまたは失敗するか？
• RQ4 埋め込みをクエリコーパス上で訓練するか文書コーパス上で訓練するかが DESM の効果に影響するか？

主な発見

• DESM は商用検索エンジンのトップ文書のリランキングにおいて、 telescoping 評価で TF-IDF 的信号を上回ることがある。
• DESM_IN-OUT（クエリコーパスで訓練）は、明示的および暗黙的なテストセットで、DESM_IN-IN および BM25 より aboutness のより強い信号を提供する。
• DESM の単独パフォーマンスは大規模候補集合を考慮すると偽陽性のため低下する；BM25 との混合によりこれを緩和し、非 telescoping の NDCG で最高を達成する。
• クエリデータで訓練された埋め込みは、文書本文テキストで訓練されたものより DESM にとって優れている。
• DESM の特徴はトップランクで最も識別力が高いが、大規模ランキングで堅牢にするには従来の特徴量との組み合わせが必要である。