[論文レビュー] I like fish, especially dolphins: Addressing Contradictions in Dialogue Modeling

Yixin Nie, Mary Williamson+3 more|arXiv (Cornell University)|Dec 24, 2020

Topic Modeling参考文献 44被引用数 9

ひとこと要約

本稿では、会話における矛盾を検出するためのDECODEタスクと新しいデータセットを導入し、微調整されたRoBERTaモデルを用いた構造化された発話ペアリング手法を提案する。この手法は、標準的な非構造化手法を上回り、人的判断と強い相関を示し、再ランク付けを用いることで生成型チャットボット出力の矛盾を効果的に低減する。特に分布外の会話においても、より高い頑健性と一般化性能を示す。

ABSTRACT

To quantify how well natural language understanding models can capture consistency in a general conversation, we introduce the DialoguE COntradiction DEtection task (DECODE) and a new conversational dataset containing both human-human and human-bot contradictory dialogues. We then compare a structured utterance-based approach of using pre-trained Transformer models for contradiction detection with the typical unstructured approach. Results reveal that: (i) our newly collected dataset is notably more effective at providing supervision for the dialogue contradiction detection task than existing NLI data including those aimed to cover the dialogue domain; (ii) the structured utterance-based approach is more robust and transferable on both analysis and out-of-distribution dialogues than its unstructured counterpart. We also show that our best contradiction detection model correlates well with human judgments and further provide evidence for its usage in both automatically evaluating and improving the consistency of state-of-the-art generative chatbots.

研究の動機と目的

• オープンドメイン会話システムにおける一貫性を測るための有効なベンチマークの不足に対処すること。
• 事前学習済みNLUモデルが会話的文脈における矛盾をどの程度正確に検出できるかを調査すること。
• 会話における矛盾検出において、構造化されたアプローチと非構造化アプローチを比較すること。
• 矛盾検出が、生成型チャットボットの一貫性を自動的に評価および改善するために利用可能かどうかを評価すること。
• 人的判断と相関の高い信頼性のある自動的メトリクスを提供すること。

提案手法

• 著者らは、会話理解における一貫性を定量化するための「会話的矛盾検出（DialoguE COntradiction DEtection, DECODE）」タスクを導入する。
• 意図的に矛盾を含む人間が作成した会話データと、自己矛盾がラベル付けされた人間とボットの会話から成る別々のOOD（Out-of-Distribution）データセットを収集する。
• 構造化された発話ベースのアプローチでは、各発話を前件の文脈発話とペアリングし、その後、事前学習済みTransformer NLIモデル（例：RoBERTa）に供給する。
• 非構造化アプローチでは、すべての会話発話を連結して同じNLIモデルに直接入力する。
• 最良のモデルはDECODEデータセットで微調整され、BlenderBotにおけるデコード段階で仮説の再ランク付けに自動メトリクスとして使用される。
• 本手法は、ビームサーチ、トップ-kサンプリング、および矛盾検出スコアに基づく再ランク付けを用いたサンプリング・ランク付けを適用し、生成の一貫性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 DECODEデータセットは、既存のNLIデータセットと比較して、会話の矛盾検出モデルの学習における監視品質においてどの程度優れているか？
• RQ2 構造化された発話ペアリングアプローチは、標準的な非構造化連結手法よりも、会話における矛盾検出で優れているか？
• RQ3 最良の矛盾検出モデルは、人的にアノテートされた一貫性判断とどの程度相関しているか？
• RQ4 矛盾検出器を、最先端の生成型チャットボットの一貫性を自動で改善するために利用可能か？
• RQ5 構造化アプローチは、分布外（OOD）の会話設定へどの程度一般化可能か？

主な発見

• DECODEデータセットは、会話の矛盾検出における監視品質において、既存のNLIデータセットを顕著に上回る。
• 構造化された発話ベースのアプローチは、非構造化アプローチと比較して、より高い頑健性とOOD会話への一般化性能を示す。
• DECODEで微調整されたRoBERTaが最良の矛盾検出器となり、人的判断の一貫性評価と強い相関を示す。
• デコード段階での再ランク付けに検出器を用いることで、矛盾率が著しく低下：ビームサーチでは22.7％から、トップ-kサンプリングでは1.1％にまで低下する。
• 人的評価により、DECODEベースの再ランク付けが、複数のデコード戦略において矛盾率を低下させることを確認し、その有効性を裏付ける。
• 本手法は、域内微調整データが不足する状況においても、NLGシステムにNLUの一貫性モジュールを統合する上で有望である。