[論文レビュー] Query Reformulation using Query History for Passage Retrieval in Conversational Search

Sheng-Chieh Lin, Jheng-Hong Yang+4 more|arXiv (Cornell University)|May 5, 2020

Topic Modeling参考文献 50被引用数 20

ひとこと要約

本論文は、伝統的な情報検索（IR）システムと2つの新規なクエリ再定式化手法、Historical Query Expansion（HQE）およびNeural Transfer Reformulation（NTR）を組み合わせた会話的パassage検索のためのマルチステージパイプラインを提案する。HQEは過去のクエリを用いてクエリを拡張するが、NTRは人間の会話的理解をニューラルモデルに転送することで、TREC 2019の最良システム比でNDCG@3で18%の向上を達成し、自動生成クエリと手動再定式化クエリの性能差をわずか4ポイントにまで縮小する。

ABSTRACT

Passage retrieval in a conversational context is essential for many downstream applications; it is however extremely challenging due to limited data resources. To address this problem, we present an effective multi-stage pipeline for passage ranking in conversational search that integrates a widely-used IR system with a conversational query reformulation module. Along these lines, we propose two simple yet effective query reformulation approaches: historical query expansion (HQE) and neural transfer reformulation (NTR). Whereas HQE applies query expansion, a traditional IR query reformulation technique, NTR transfers human knowledge of conversational query understanding to a neural query reformulation model. The proposed HQE method was the top-performing submission of automatic systems in CAsT Track at TREC 2019. Building on this, our NTR approach improves an additional 18% over that best entry in terms of NDCG@3. We further analyze the distinct behaviors of the two approaches, and show that fusing their output reduces the performance gap (measured in NDCG@3) between the manually-rewritten and automatically-generated queries to 4 from 22 points when compared with the best CAsT submission.

研究の動機と目的

• 限られたトレーニングデータが性能を制限する会話的検索におけるパassage検索の向上を目的とする。
• 複数ターンの会話におけるユーザークエリの理解と再定式化の課題に対処することを目的とする。
• 大規模なラベル付き会話的データを必要としない、効果的なクエリ再定式化技術の開発を目的とする。
• 自動生成クエリと手動再定式化クエリの間の性能差を埋めるのを目的とする。
• 伝統的なIR手法とニューラルアプローチを統合し、会話的検索におけるランク付けを向上させることを目的とする。

提案手法

• フレームワークは、標準的なIRシステムとクエリ再定式化モジュールを組み合わせたマルチステージパイプラインを採用する。
• Historical Query Expansion（HQE）は、会話履歴内の過去のクエリからの用語を用いてクエリを再定式化する。
• Neural Transfer Reformulation（NTR）は、人間がアノテートした会話的クエリ理解パターンを、ファインチューニングされたニューラルモデルに転送してクエリ再定式化を実現する。
• 2つの再定式化手法を融合させ、クエリ理解における相補的な強みを組み合わせる。
• システムはTREC 2019のCAsTトラックを用いて評価され、主な指標としてNDCG@3が用いられる。
• 既存のIRインfraを活用しつつ、軽量で効果的なクエリ再定式化コンponentを追加する。

実験結果

リサーチクエスチョン

• RQ1 歴史的クエリ拡張（HQE）は、会話的検索におけるパassage検索の向上にどの程度有効であるか？
• RQ2 ニューラル転移学習は、リソースが限られた会話的環境において、クエリ再定式化をどの程度向上させられるか？
• RQ3 HQEとNTRは、人間のクエリ再定式化をどの程度模倣できるか？
• RQ4 HQEとNTRの出力を融合させることで、自動生成と手動再定式化クエリの性能差を顕著に縮小できるか？
• RQ5 クエリ再定式化は、実際の会話的検索ベンチマークにおけるNDCG@3にどのような影響を与えるか？

主な発見

• HQE手法は、TREC 2019のCAsTトラックにおいて自動システムの中で最高の性能を達成した。
• NTR手法は、CAsTで最高の提出物を18%上回るNDCG@3を達成し、ニューラル転移による顕著な向上を示した。
• HQEとNTRの出力を融合させることで、自動生成クエリと手動再定式化クエリのNDCG@3における性能差を22ポイントからわずか4ポイントにまで縮小した。
• 2つの手法は異なる行動を示しており、HQEは履歴からの語彙的オーバーラップに依存するが、NTRは転移学習によって意味的意図を捉える。
• 両手法の統合により、より強固で人間らしいクエリ再定式化が実現され、手動再定式化との差が顕著に縮小された。
• 結果から、伝統的なIR技術とニューラル転移学習を組み合わせることで、リソースが限られた会話的検索において優れた性能が得られることを確認した。