[論文レビュー] End-to-End Retrieval in Continuous Space

Daniel Gillick, Alessandro Presta+1 more|arXiv (Cornell University)|Nov 19, 2018

Topic Modeling参考文献 22被引用数 71

ひとこと要約

この論文はデュアルエンコーダとオフライン ANN 検索を用いた連続空間でのエンドツーエンド検索を実証し、2つの類似質問データセットで離散検索ベースラインより大幅な改善を達成。さらにネガティブサンプリング戦略を導入し、検索システムの評価について論じている。

ABSTRACT

Most text-based information retrieval (IR) systems index objects by words or phrases. These discrete systems have been augmented by models that use embeddings to measure similarity in continuous space. But continuous-space models are typically used just to re-rank the top candidates. We consider the problem of end-to-end continuous retrieval, where standard approximate nearest neighbor (ANN) search replaces the usual discrete inverted index, and rely entirely on distances between learned embeddings. By training simple models specifically for retrieval, with an appropriate model architecture, we improve on a discrete baseline by 8% and 26% (MAP) on two similar-question retrieval tasks. We also discuss the problem of evaluation for retrieval systems, and show how to modify existing pairwise similarity datasets for this purpose.

研究の動機と目的

• 離散的 inverted-index システムの代替として、エンドツーエンドの連続検索を推進する。
• 効率的な ANN 検索のために、クエリと候補を独立にエンコードするデュアルエンコーダアーキテクチャを提案する。
• 取得最適化された埋め込みを訓練するための損失関数とネガティブサンプリング戦略を探究する。
• 実世界の性能を評価するため、ペアワイズデータセットを検索タスクへ変換してエンドツーエンド検索を評価する。

提案手法

• クエリエンコーダと候補エンコーダを備え、d次元埋め込みを生成するデュアルエンコーダフレームワークを定義する。
• コサイン類似度を検索スコアとして用い、学習されたアフィントランスフォームを適用して類似度をロジットへスケールする。
• 複数のネガティブサンプリング損失を試し、インバッチサンプルソフトマックスが最良の結果を示した。
• ミニバッチ勾配降下法で訓練し、多様なネガティブを提供するために大きなバッチサイズを使用する。
• ペアワイズデータセットを推移的閉包によって不完全な検索タスクへ変換し、テストクエリと候補を得る。
• 回収された上位K件の結果に対してMAP@100を用いて評価し、TFIDFやBM25などの従来のベースラインと比較する。）

実験結果

リサーチクエスチョン

• RQ1 実データの検索タスクで、エンドツーエンドの連続検索は従来の離散検索ベースラインを上回ることができるか？
• RQ2 異なるネガティブサンプリング損失はエンドツーエンド検索の性能にどう影響するか？
• RQ3 関連タスク間でマルチタスクのデュアルエンコーダ設定は検索性能を向上させるか？
• RQ4 エンドツーエンド検索における MAP@100 に対するバッチサイズの影響は何か？

主な発見

モデル	学習データ	Quora MAP@100	AskUbuntu MAP@100	平均 MAP@100
Identity	-	45.9	14.4	30.2
TFIDF	-	77.2	35.6	56.4
BM25	-	83.7	36.5	60.1
Avg-word2vec	News	78.4	28.4	53.4
IDF-word2vec	News	85.4	33.1	59.3
IDF-GloVe	Web	85.2	33.4	59.3
IDF-word2vec	Paralex	86.0	33.5	59.8
Dual Encoder	Paralex (P)	87.6	37.3	62.4
Dual Encoder	Quora (Q)	90.4	35.8	63.1
Dual Encoder	AskUbuntu (A)	84.5	45.9	65.2
Dual Encoder	Q + A	88.3	42.2	65.2
Dual Encoder	P + Q	90.5	37.3	63.9
Dual Encoder	P + A	87.5	46.0	66.7
Dual Encoder	P + Q + A	89.9	45.5	67.7

• エンドツーエンドのデュアルエンコーダ検索は、Quora および AskUbuntu データセットで MAP@100 において TFIDF や BM25 のような離散ベースラインを上回る。
• インバッチサンプルソフトマックス損失が、テストした戦略の中で最良の検索結果とより速い収束をもたらす。
• より大きなバッチサイズは MAP@100 を改善し、2、10、100、1000 と段階的に高いスコアを得た。
• 複数のクエリタスクからのデータを用いたマルチタスク訓練は強い検索性能を提供する。
• 総合的に最良の結果は Paralex、Quora、AskUbuntu データを組み合わせたマルチタスクデュアルエンコーダで達成される。