[論文レビュー] Multi-Stage Conversational Passage Retrieval: An Approach to Fusing Term Importance Estimation and Neural Query Rewriting

Sheng-Chieh Lin, Jheng-Hong Yang+4 more|arXiv (Cornell University)|May 5, 2020

Topic Modeling参考文献 81被引用数 9

ひとこと要約

本論文は、語彙の重要度推定（歴史的クエリ拡張を介して）とニューラルクエリ再定式化（T5ベースのシーケンス・ツー・シーケンスモデルを介して）を統合するマルチステージの会話型ドキュメント検索フレームワークを提案する。これらの2つのクエリ再定式化手法を逆順位融合によって統合することで、TREC CAsT 2019で最高の提出物に対してNDCG@3で30%の向上を達成し、新たな最先端の成績を樹立した。

ABSTRACT

Conversational search plays a vital role in conversational information seeking. As queries in information seeking dialogues are ambiguous for traditional ad-hoc information retrieval (IR) systems due to the coreference and omission resolution problems inherent in natural language dialogue, resolving these ambiguities is crucial. In this paper, we tackle conversational passage retrieval (ConvPR), an important component of conversational search, by addressing query ambiguities with query reformulation integrated into a multi-stage ad-hoc IR system. Specifically, we propose two conversational query reformulation (CQR) methods: (1) term importance estimation and (2) neural query rewriting. For the former, we expand conversational queries using important terms extracted from the conversational context with frequency-based signals. For the latter, we reformulate conversational queries into natural, standalone, human-understandable queries with a pretrained sequence-tosequence model. Detailed analyses of the two CQR methods are provided quantitatively and qualitatively, explaining their advantages, disadvantages, and distinct behaviors. Moreover, to leverage the strengths of both CQR methods, we propose combining their output with reciprocal rank fusion, yielding state-of-the-art retrieval effectiveness, 30% improvement in terms of NDCG@3 compared to the best submission of TREC CAsT 2019.

研究の動機と目的

• 会話型対話における共参照および省略によるクエリの曖昧さを解消すること。
• マルチステージのアドホック情報検索パイプラインにクエリ再定式化を統合することで、会話型ドキュメント検索（ConvPR）の検索効果を向上させること。
• 語彙の重要度推定とニューラルクエリ再定式化という2つの異なる会話型クエリ再定式化（CQR）手法を評価・比較すること。
• 両方のCQR手法の出力を統合することで、個々の手法を超える検索パフォーマンス向上を示すこと。
• ルールベースとニューラルベースのクエリ再定式化技術の補完的動作に関する洞察を提供すること。

提案手法

• 頻度に基づく信号を用いて会話的文脈から重要な語彙を抽出することで、曖昧なクエリを拡張する、歴史的クエリ拡張（HQE）を提案する。
• T5に基づくシーケンス・ツー・シーケンスモデルであるニューラルトランスファーリフォーマリゼーション（NTR）を導入し、会話クエリを独立した、人間が読みやすいクエリに再定式化する。
• 両方のCQR手法を、初期検索にBM25、再ランクにBERTを用いるマルチステージIRパイプラインに統合する。
• 逆順位融合（RRF）を用いてHQEとNTRの順位付け結果を統合し、両者の補完的強みを活用する。
• 評価にTREC CAsT 2019ベンチマークを用い、NDCG@3、MAP、R@1000でパフォーマンスを測定する。
• NTRモデルの異なるビーム幅におけるCPUおよびTPUの遅延を測定することで、推論効率を評価する。

実験結果

リサーチクエスチョン

• RQ1 語彙の重要度推定とニューラルクエリ再定式化は、会話クエリの曖昧さを解消する能力においてどのように異なるか？
• RQ2 頻度信号に基づく手法とニューラルシーケンス・ツー・シーケンスモデリングに基づく2つの異なるCQR手法を組み合わせることで、検索効果が向上するか？
• RQ3 各CQR手法がNDCG@3やMAPといった下流の検索指標に与える相対的影響は何か？
• RQ4 HQEとNTRの出力の統合は、個々の手法やTREC CAsT 2019で最高の提出物と比較して、どのように異なるか？
• RQ5 ニューラルクエリ再定式化の計算コストは何か？また、ビーム幅は効率性と有効性にどのように影響するか？

主な発見

• HQEとNTRの逆順位融合による統合により、TREC CAsT 2019で最高の提出物に対してNDCG@3で23%の向上を達成した。
• NTR単体でも、TREC CAsT 2019で最高の提出物に対してNDCG@3で18%の向上を示し、人間のクエリ再定式化を模倣する強力な性能を示した。
• HQEは、会話的文脈からの頻度に基づく語彙の重要度信号を通じて、トピック関連語彙を効果的にクエリ拡張する点で優れている。
• ビーム幅w=1のNTRモデルは、非ニューラルのHQEモデルと同等の推論遅延を達成するが、より高いビーム幅（w=5,10）では有効性の向上が僅かにしか得られなかった。
• BERT再ランカーは、1クエリあたり3.29秒の計算オーバーヘッドをもたらし、早期統合（early fusion）が後期統合（late fusion）よりも効率的であることを示している。
• 事例研究では、NTRがより自然で人間らしいクエリを生成する一方で、HQEは頻度に基づく拡張によりキーワードをよりよく保持していることが示され、両者の補完的強みが裏付けられた。