[論文レビュー] A Clarifying Question Selection System from NTES_ALONG in Convai3 Challenge

Wenjie Ou, Yue Lin|arXiv (Cornell University)|Oct 27, 2020

Topic Modeling参考文献 6被引用数 6

ひとこと要約

本論文は、会話型情報検索における曇ったユーザークエリに対する明確化質問選択システムを提示し、応答理解に微調整されたELECTRA、候補抽出に強化されたBM25、およびランク付けにELECTRAベースのモデルのアンサンブルを組み合わせた。このシステムは最先端の性能を達成し、ConvAI3チャレンジで1位を獲得し、質問の関連性において最高のrecall@[20,30]を記録し、複数ターンの文書関連性評価でも最高スコアを記録した。

ABSTRACT

This paper presents the participation of NetEase Game AI Lab team for the ClariQ challenge at Search-oriented Conversational AI (SCAI) EMNLP workshop in 2020. The challenge asks for a complete conversational information retrieval system that can understanding and generating clarification questions. We propose a clarifying question selection system which consists of response understanding, candidate question recalling and clarifying question ranking. We fine-tune a RoBERTa model to understand user's responses and use an enhanced BM25 model to recall the candidate questions. In clarifying question ranking stage, we reconstruct the training dataset and propose two models based on ELECTRA. Finally we ensemble the models by summing up their output probabilities and choose the question with the highest probability as the clarification question. Experiments show that our ensemble ranking model outperforms in the document relevance task and achieves the best recall@[20,30] metrics in question relevance task. And in multi-turn conversation evaluation in stage2, our system achieve the top score of all document relevance metrics.

研究の動機と目的

• 会話型情報検索における曇ったユーザークエリに対して、堅牢な明確化質問選択システムを開発すること。
• 検索精度を向上させるために、いつ、どのように明確化質問を尋ねるべきかを特定する課題に対処すること。
• ユーザー意図のエンドツーエンドモデリングと質問ランク付けを統合することで、選択された明確化質問の関連性を向上させること。
• 特に質問関連性および複数ターン対話評価において、ClariQベンチマークで優れたパフォーマンスを達成すること。

提案手法

• P@5スコアに基づいて、応答に明確化が必要かどうかを分類するため、大規模なELECTRAモデルを微調整してユーザー応答理解を実現。
• 質問だけでなく、関連する初期リクエスト、回答、トピックの説明もインデックスに含めることで、BM25検索モデルを強化。
• 一般化されたランク付けを向上させるために、ランダムサンプリングとBM25ベースのネガティブサンプリングの両方を用いて、トレーニング用ネガティブサンプルを構築。
• 標準的なシーケンス分類器と、より良い表現学習を実現するためのマルチタスク学習モデルという、2つの異なるELECTRAベースのモデルをトレーニング。
• 2つのランク付けモデルの出力確率を合算し、最も高い確率を持つ質問を最終的な明確化質問として選択することで、アンサンブル化。
• パイプラインアーキテクチャを採用：応答理解 → 候補質問の再現 → 明確化質問のランク付け。各ステージを独立して最適化。

実験結果

リサーチクエスチョン

• RQ1 会話型情報検索の文脈において、システムはどのようにしてユーザーの応答が明確化を必要としているかを効果的に特定できるか？
• RQ2 ユーザー入力をもとに、大規模な質問バンクから候補となる明確化質問を効果的に再現する最適な方法は何か？
• RQ3 複数のELECTRAベースのモデルを用いたアンサンブル学習は、単一モデルと比較して、選択された明確化質問の関連性を向上させられるか？
• RQ4 特に文書検索効果性の観点から、システムは複数ターン対話シナリオでどのように動作するか？

主な発見

• アンサンブルランク付けモデルは、質問関連性タスクにおいて最高のrecall@[20,30]を達成し、他のすべての参加者モデルを上回った。
• 文書関連性タスクにおいても、開発セットおよびテストセットの両方で強力なパフォーマンスを示し、上位にランクインした。
• 複数ターン対話評価（第2段階）では、MRR、P@1、nDCG@3、nDCG@5を含む、すべての文書関連性メトリクスで最高スコアを記録した。
• システムは一般化能力に優れ、明確で文脈的に適切な明確化質問を一貫して選択した。たとえば、ユーザーの意図を尋ねたり、過去の回答に基づいてクエリを洗練させたりする質問を適切に選択した。
• 拡張インデックスを用いた強化されたBM25モデルは、特に短く一般的な質問において、候補の再現品質を向上させた。
• マルチタスクELECTRAモデルは、質問関連性タスクにおいて最高のrecall@[5,10]を達成し、初期ランクの関連性において優れたパフォーマンスを示した。