[論文レビュー] Decoding a Neural Retriever's Latent Space for Query Suggestion

Leonard Adolphs, Michelle Chen Huebscher+5 more|arXiv (Cornell University)|Oct 21, 2022

Neural Networks and Applications被引用数 2

ひとこと要約

本稿では、クエリの埋め込みから関連ドキュメントの埋め込みへと到達するように、ニューラルリトリーバーの潜在空間を逆方向にたどることで意味のあるクエリ再定式化を生成するクエリデコーダーを提案する。この手法により、MSMarco上で大規模な合成クエリ提案データセットが作成され、それを用いてT5ベースの疑似関連フィードバックモデルを学習する。その結果、自然な表現性、多様性、リトリーブ効果性の面でベースラインを上回る性能を発揮した。

ABSTRACT

Neural retrieval models have superseded classic bag-of-words methods such as BM25 as the retrieval framework of choice. However, neural systems lack the interpretability of bag-of-words models; it is not trivial to connect a query change to a change in the latent space that ultimately determines the retrieval results. To shed light on this embedding space, we learn a "query decoder" that, given a latent representation of a neural search engine, generates the corresponding query. We show that it is possible to decode a meaningful query from its latent representation and, when moving in the right direction in latent space, to decode a query that retrieves the relevant paragraph. In particular, the query decoder can be useful to understand "what should have been asked" to retrieve a particular paragraph from the collection. We employ the query decoder to generate a large synthetic dataset of query reformulations for MSMarco, leading to improved retrieval performance. On this data, we train a pseudo-relevance feedback (PRF) T5 model for the application of query suggestion that outperforms both query reformulation and PRF information retrieval baselines.

研究の動機と目的

• ニューラルリトリーブモデルにおける解釈性のギャップ、すなわちクエリの変更が潜在空間の変化に明確に対応しないことに対処すること。
• 関連ドキュメントの潜在表現をデコードすることで、意味的に意味のあるクエリ再定式化を生成すること。
• 人為的ラベルなしで、潜在空間の走査を活用して大規模な合成クエリ提案データセットを構築すること。
• 疑似関連フィードバックの文脈で、リトリーブ性能を向上させるクエリ提案モデルを訓練すること。
• 生成された提案の自然さ、多様性、リトリーブ関連性という観点から、その有効性を評価すること。

提案手法

• 二重エンコーダリトリーバー（例：GTR）の固定されたニューラルエンコーダーの逆方向を学習するクエリデコーダーモデルを訓練し、潜在埋め込みを自然言語クエリに戻す。
• クエリの埋め込みから、その正解で取得されたドキュメントの埋め込みへと潜在空間を走査し、経路上の途中点をサンプリングする。
• 各途中点の潜在表現に対してクエリデコーダーを用いて再定式化クエリを生成し、合成クエリ提案データセットを構築する。
• 元のクエリと上位5件の検索結果を入力として用い、T5-largeモデルをこの合成データセットで微調整し、多様性と関連性を兼ね備えたクエリ提案を予測する。
• 自己BLEU（多様性）とパープレクサリティ（自然さ）といった自動指標を用いて生成された提案を評価し、MSMarcoおよびNQにおけるリトリーブ性能を測定する。
• 潜在空間の構造を活用してクエリの改善を誘導し、再定式化がターゲットドキュメントの埋め込みへと向かうようにする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルクエリデコーダーは、ニューラルリトリーバーの潜在表現から自然言語クエリを効果的に再構築できるか？
• RQ2 クエリとその関連ドキュメントの間の潜在空間を走査することで、意味的で多様なクエリ再定式化を生成できるか？
• RQ3 このような再定式化の合成データセットは、疑似関連フィードバック設定下でクエリ提案モデルの性能を向上させられるか？
• RQ4 生成されたクエリ提案は、自然さ、多様性、リトリーブ効果性という観点でベースラインと比較してどのように差がつくか？
• RQ5 クエリデコーダーは、特定のドキュメントを取得するために「どのようなクエリを尋ねるべきだったか」をどの程度特定できるか？

主な発見

• クエリデコーダーは、潜在表現から自然で多様なクエリ再定式化を効果的に生成でき、MSMarcoでは自己BLEUが17.8、NQでは18.4を記録し、ベースラインより多様性が向上していることが示された。
• T5ベースのクエリ提案モデル（qsT5）は、MSMarcoで自己BLEU17.8、NQで18.4を達成し、多様性と自然さの両面でMQRおよびRM3ベースラインを上回った。
• qsT5モデルは、MSMarcoでパープレクサリティ247.8、NQで223.2を記録し、ベースラインのT5-plainモデル（それぞれ196.6および249.8）よりも自然さが優れていた。
• 合成クエリ提案データセットにより、リトリーブ性能が向上し、qsT5モデルはMSMarcoおよびNQの両方でクエリ再定式化および従来のPRFベースラインを上回った。
• 共通のクエリ-ドキュメント潜在空間の幾何的構造を活用することで、人為的ラベルなしで効果的なクエリの改善が可能となった。
• 潜在空間の走査とクエリデコーディングを組み合わせることで、意味的に関連性があり、多様で効果的なクエリ提案を生成できることが示された。