[論文レビュー] Few-Shot Generative Conversational Query Rewriting

Yu Shi, Jiahua Liu+5 more|arXiv (Cornell University)|Jun 9, 2020

Topic Modeling参考文献 2被引用数 7

ひとこと要約

本論文では、アドホック検索セッションにおけるルールベースおよび自己教師あり手法からの弱い監視を用いて、会話的クエリ再書き換えの few-shot 生成的手法を提案する。わずか50件の手動再書き換えでの微調整により、最先端のシステムを12%上回るNDCG@3の向上を達成し、文脈依存性（長期間の共参照を含む）を効果的に捉える強力な few-shot 一般化能力を示している。

ABSTRACT

Conversational query rewriting aims to reformulate a concise conversational query to a fully specified, context-independent query that can be effectively handled by existing information retrieval systems. This paper presents a few-shot generative approach to conversational query rewriting. We develop two methods, based on rules and self-supervised learning, to generate weak supervision data using large amounts of ad hoc search sessions, and to fine-tune GPT-2 to rewrite conversational queries. On the TREC Conversational Assistance Track, our weakly supervised GPT-2 rewriter improves the state-of-the-art ranking accuracy by 12%, only using very limited amounts of manual query rewrites. In the zero-shot learning setting, the rewriter still gives a comparable result to previous state-of-the-art systems. Our analyses reveal that GPT-2 effectively picks up the task syntax and learns to capture context dependencies, even for hard cases that involve group references and long-turn dependencies.

研究の動機と目的

• 手動再書き換えが高コストで限られている低リソースな会話的クエリ再書き換えの課題に対処すること。
• GPT-2のような事前学習言語モデルが、わずか数件の手動再書き換えでのみ効果的に一般化できるかどうかを調査すること。
• 大規模な手動アノテーションに依存せずに、豊富なアドホック検索セッションを用いて効果的なクエリ再ライタを訓練するための弱い監視技術を開発すること。
• 既存のリtrievalモデルとより相性の良い文脈独立のデコンテキスト化されたクエリを生成することで、会話的IRシステムのパフォーマンスを向上させること。

提案手法

• アドホック検索セッションにおける繰り返し現れる名詞句を省略または共参照することで、ルールベース手法を用いて弱い監視データを生成する。
• 少量の手動再書き換えを用いて、自己教師ありのGPT-2モデルを、アドホッククエリをより会話的・文脈依存的な形に簡略化するように学習させる。
• 弱い監視データ上でGPT-2を微調整し、会話的検索セッション用の文脈に配慮したクエリ再書き換えを生成する。
• TREC CAsTの会話的セッションからたった50件のデータでのクロスバリデーションとfew-shot微調整を用いて、一般化能力を評価する。
• NDCG@3とBLEUスコアを用いてモデルのパフォーマンスを評価し、ベースラインシステムおよびオラクル再書き換えと比較する。
• 共参照解消と文脈依存性の処理に焦点を当てた事例研究を通じて、モデルの挙動を分析する。

実験結果

リサーチクエスチョン

• RQ1 GPT-2が、わずか数件の手動アノテーション済み再書き換えでのみ、会話的クエリ再書き換えで強力なパフォーマンスを達成できるか？
• RQ2 ルールベースおよび自己教師あり手法は、アドホック検索セッションから弱い監視データを生成するのにどの程度効果的か？
• RQ3 GPT-2のような事前学習言語モデルは、広範な微調整なしにクエリ再書き換えの構文的・意味的特徴をどの程度学習できるか？
• RQ4 長期間の依存関係やグループ参照を含む難しいケースに対して、モデルはどの程度一般化できるか？
• RQ5 既存の最先端システムと比較して、モデルのパフォーマンスはfew-shotおよびzero-shot設定でどのように変化するか？

主な発見

• TREC CAsT 2019で最も優れた自動実行結果を上回る12%のNDCG@3向上を達成するために、わずか50件の手動再書き換え済み会話的セッションでのGPT-2微調整が可能であった。
• ゼロショット設定では、弱い監視に基づくGPT-2モデルが、以前の最先端の自動システムと同等のパフォーマンスを達成した。
• GPT-2は、わずか3件の会話的セッションでの学習で、質問形式の再書き換えを生成し、人称代名詞や共参照を正しく解消できるようになった。
• モデルは複数ターンにわたり安定したパフォーマンスを維持しており、マルチターン文脈を効果的に捉えていることが示された。
• BLEUスコアとNDCGの間に強い相関関係が確認され、より良いクエリ再書き換えがより高い検索精度をもたらすことが裏付けられた。
• 事例研究では、GPT-2が3ターンにわたる複雑なグループ参照を正確に解消できることを示したが、曖昧な参照により文脈を誤解することがたびたびあった。