[論文レビュー] Guided Transformer: Leveraging Multiple External Sources for Representation Learning in Conversational Search

Helia Hashemi, Hamed Zamani+1 more|arXiv (Cornell University)|Jun 13, 2020

Topic Modeling参考文献 51被引用数 7

ひとこと要約

本論文は、複数の外部情報源—上位に検索されたドキュメントと候補となる明確化質問—を注意メカニズムに統合することで、会話型検索におけるトランスフォーマーに基づく表現を向上させる、新しい注目メカニズムであるGuided Transformer (GT) を提案する。モデルはQulacデータセット上で文書検索において29%以上の相対的MRR向上を達成し、最先端のベースラインと比較して次の明確化質問選択において優れた性能を示しており、曖昧なクエリからのユーザーの意図を学習する際の複数外部ソースのガイダンスの有効性を示している。

ABSTRACT

Asking clarifying questions in response to ambiguous or faceted queries has been recognized as a useful technique for various information retrieval systems, especially conversational search systems with limited bandwidth interfaces. Analyzing and generating clarifying questions have been studied recently but the accurate utilization of user responses to clarifying questions has been relatively less explored. In this paper, we enrich the representations learned by Transformer networks using a novel attention mechanism from external information sources that weights each term in the conversation. We evaluate this Guided Transformer model in a conversational search scenario that includes clarifying questions. In our experiments, we use two separate external sources, including the top retrieved documents and a set of different possible clarifying questions for the query. We implement the proposed representation learning model for two downstream tasks in conversational search; document retrieval and next clarifying question selection. Our experiments use a public dataset for search clarification and demonstrate significant improvements compared to competitive baselines.

研究の動機と目的

• クエリが曖昧または多面的である場合に、会話型検索におけるユーザーの情報ニーズを正確に表現する課題に対処すること。
• 上位に検索されたドキュメントや候補となる明確化質問といった外部情報ソースを活用することで、文書検索および次の明確化質問選択の性能を向上させること。
• 主タスクと補助的な意図分類タスクを同時に最適化するマルチタスク学習フレームワークを構築し、表現学習を強化すること。
• ユーザーの返答と外部コンテキストを活用して、ミックス・イニシアチブ型会話型検索システムにおける明確化をより効果的にすること。
• クリックスルーデータ、クエリログ、知識ベースなどの多様な外部ソースをニューラルアーキテクチャに統合し、会話型情報検索の性能を向上させることの可能性を探ること。

提案手法

• 標準的なトランスフォーマー・アーキテクチャに、外部ソースからの情報を用いて会話内の用語の重みを動的に調整する新しいマルチソース注目メカニズムを拡張する。
• 2つの外部ソースを統合する：上位に検索されたドキュメント（疑似関連フィードバックを模倣）と、クエリ用の候補となる明確化質問のプール。
• ベースとなるテキストエンコーダーにBERTを用い、マルチタスク学習に適応させるために入力にタスク埋め込みベクトルを追加する。
• マルチタスク学習の目的関数を採用：主タスク（文書検索または次の明確化質問選択）と、複数の代替案の中から正しいクエリの意図を特定する補助タスク。
• 主タスクと補助タスクを同時に最適化する統合損失関数を用いて、エンドツーエンドのモデルを学習する。
• 2つの下流タスクにモデルを適用する：(1) 会話に対する文書の関連性をスコアリングすること、(2) 検索品質を向上させる次の明確化質問を選択すること。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー・モデルの注目メカニズムに複数の外部情報ソースを統合することで、会話型検索のための表現学習が向上するか？
• RQ2 上位に検索されたドキュメントと候補となる明確化質問を外部シグナルとして用いることで、文書検索および次の明確化質問選択の性能にどのような影響を与えるか？
• RQ3 補助的な意図分類ヘッドを用いたマルチタスク学習は、曖昧なクエリにおけるユーザーの情報ニーズを理解する能力を向上させるか？
• RQ4 外部ソースは、'いいえ'や'はい'といった最小限のユーザーのフィードバックからの学習の課題をどの程度軽減できるか？
• RQ5 明確化質問選択のオフライン評価において、提案されたGuided TransformerはBERT-NeuQS や LambdaMART といった最先端のモデルと比較してどのように差をつけるか？

主な発見

• 提案されたGuided Transformerモデルは、BERT-NeuQS を含む強力なベースラインと比較して、文書検索タスクでMRR（平均逆順位）が29%以上の相対的向上を達成した。
• マルチタスク学習設定は単一タスク学習を常に上回り、補助的な意図分類タスクが表現学習を強化していることが示された。
• LambdaMART や RankNet といった強力なベースラインと比較して、次の明確化質問選択において顕著な優位性を示しており、外部ソース統合の価値が裏付けられた。
• 事例研究では、GTがユーザーの返答が最小限（例：'いいえ'）であっても、外部ソースを効果的に活用して表現を向上させられることを示したが、BERT はこのような状況で困難を示した。
• 提案モデルとオラクルの上限値との間の性能差は、明確化質問選択の分野における今後の改善の余地が著しく残っていることを示している。
• retrieved ドキュメント や 候補となる質問 といった外部ソースを活用できる能力により、特に発話が少ない場合や否定的フィードバックがある状況において、クエリの意図の曖昧さをより効果的に解消できるようになった。