[論文レビュー] CoCo: Controllable Counterfactuals for Evaluating Dialogue State Trackers

Shiyang Li, Semih Yavuz+7 more|arXiv (Cornell University)|Oct 24, 2020

Topic Modeling参考文献 43被引用数 41

ひとこと要約

CoCo は、コントロール可能な反事実会話を生成して DST モデルをストレステストし、保持アウトの精度を超えた顕著な一般化ギャップを明らかにしつつ、堅牢なデータ拡張を実現する。

ABSTRACT

Dialogue state trackers have made significant progress on benchmark datasets, but their generalization capability to novel and realistic scenarios beyond the held-out conversations is less understood. We propose controllable counterfactuals (CoCo) to bridge this gap and evaluate dialogue state tracking (DST) models on novel scenarios, i.e., would the system successfully tackle the request if the user responded differently but still consistently with the dialogue flow? CoCo leverages turn-level belief states as counterfactual conditionals to produce novel conversation scenarios in two steps: (i) counterfactual goal generation at turn-level by dropping and adding slots followed by replacing slot values, (ii) counterfactual conversation generation that is conditioned on (i) and consistent with the dialogue flow. Evaluating state-of-the-art DST models on MultiWOZ dataset with CoCo-generated counterfactuals results in a significant performance drop of up to 30.8% (from 49.4% to 18.6%) in absolute joint goal accuracy. In comparison, widely used techniques like paraphrasing only affect the accuracy by at most 2%. Human evaluations show that COCO-generated conversations perfectly reflect the underlying user goal with more than 95% accuracy and are as human-like as the original conversations, further strengthening its reliability and promise to be adopted as part of the robustness evaluation of DST models.

研究の動機と目的

• 最先端のDSTモデルが、保持アウトのMultiWOZテストセットを超えた新規かつ現実的な対話シナリオにどれだけ一般化できるかを評価する。
• モデルに依存しない枠組みを導入し、反事実のターンレベルの信念状態と対応する会話を生成する。
• 複数のモデルにわたるDSTの性能に対する反事実の影響を評価する。
• 反事実データ拡張がロバスト性と元のタスクの性能を改善するかを検討する。

提案手法

• DSTをターンレベルおよびダイアログレベルの信念状態追跡問題として表現する。
• ターンレベルの信念状態に対して、スロット値を削除・変更・追加することで反事実の目標を生成する。
• 変更された信念状態を条件として、事前学習済みのエンコーダ-デコーダモデルを用いて反事実のユーザー発話を生成する。
• 生成された発話が反事実の目標を反映することを保証するため、スロット値一致フィルターと分類子ベースのフィルターという2つのフィルタリング機構を適用する。
• Value Substitution (VS) を特別な CoCo ケースとして導入し、必要時に VS をフォールバックとして用いる CoCo+ バリアントを導入する。
• 最大尤依存確率とビームサーチによる推論のために、目標条件付き発話生成器 p_theta(U_usr_t | U_sys_t, L_t) を訓練する。

実験結果

リサーチクエスチョン

• RQ1 CoCo 生成の反事実会話で評価したとき、最先端の DST モデルはどう性能を発揮するか。
• RQ2 未 seen のスロット値や珍しいスロット組み合わせが DST モデルの一般化にどの程度影響するか。
• RQ3 CoCo ベースのデータ拡張は、DSTモデルのロバスト性および/または元のタスクの性能を改善できるか。

主な発見

• DSTモデルは、CoCo-およびCoCo+-生成の反事実会話において、元の MultiWOZ テストセットと比べて結合目標精度が著しく低下する（最大で30.8ポイント）。”
• バック-翻訳によるパラフレージングは性能に控えめな影響で、低下は最大で2%。”
• 見知らぬドメイン内外のスロット値は精度の大幅な低下を招く（それぞれ最大11.8%および約10%の追加低下）。
• CoCo+ の稀少かつ稀少なスロット組み合わせは最大の一般化ギャップを生み出し、Trade のようなモデルの精度が49.4%から18.6%へと低下。
• 人間の評価では、CoCo 生成の会話はユーザー目標に高度に忠実で（>95% の正確性）、原本に対して人間らしい。CoCo-ori は多くの場合、元のターンレベルの信念状態の正確さと同等かわずかに上回ることがある。
• Data augmentation with CoCo+ rare configurations improves robustness across models and can boost original test-set performance for some models (e.g., TripPy).