[論文レビュー] Find or Classify? Dual Strategy for Slot-Value Predictions on Multi-Domain Dialog State Tracking

Jianguo Zhang, Kazuma Hashimoto+5 more|arXiv (Cornell University)|Oct 8, 2019

Speech and dialogue systems被引用数 85

ひとこと要約

DS-DSTは、カテゴリ型と非カテゴリ型のスロットを共同で扱うデュアル戦略を導入し、強力なスロット文脈相互作用を伴うBERT質問応答フレームワークへ適応することで、多ドメイン対話状態追跡において最先端の結果をMultiWOZ 2.0で達成し、2.1で競合的な結果を得る。

ABSTRACT

Dialog state tracking (DST) is a core component in task-oriented dialog systems. Existing approaches for DST mainly fall into one of two categories, namely, ontology-based and ontology-free methods. An ontology-based method selects a value from a candidate-value list for each target slot, while an ontology-free method extracts spans from dialog contexts. Recent work introduced a BERT-based model to strike a balance between the two methods by pre-defining categorical and non-categorical slots. However, it is not clear enough which slots are better handled by either of the two slot types, and the way to use the pre-trained model has not been well investigated. In this paper, we propose a simple yet effective dual-strategy model for DST, by adapting a single BERT-style reading comprehension model to jointly handle both the categorical and non-categorical slots. Our experiments on the MultiWOZ datasets show that our method significantly outperforms the BERT-based counterpart, finding that the key is a deep interaction between the domain-slot and context information. When evaluated on noisy (MultiWOZ 2.0) and cleaner (MultiWOZ 2.1) settings, our method performs competitively and robustly across the two different settings. Our method sets the new state of the art in the noisy setting, while performing more robustly than the best model in the cleaner setting. We also conduct a comprehensive error analysis on the dataset, including the effects of the dual strategy for each slot, to facilitate future research.

研究の動機と目的

• ドメイン全体で部分的/完全なオントロジーの可用性が異なる状況でも機能する頑健なDSTを動機づける。
• カテゴリ型および非カテゴリ型スロットを共同で扱うデュアル戦略モデル（DS-DST）を提案する。
• 対話コンテキストとドメイン-スロット対の相互作用の強さが性能に与える影響を調査する。
• ノイズの多い（MultiWOZ 2.0）とよりクリーンな（MultiWOZ 2.1）設定での頑健性を評価する。
• 今後のDST研究を指針づけるための誤差分析を提供する。

提案手法

• ドメイン-スロット対と対話文脈を共同でエンコードするように、1つのBERTベースの質問応答フレームワークを適応させる。
• ドメイン-スロット対がNone、dontcare、または予測を要するかを決定するスロットゲート分類器を導入する。
• 非カテゴリ型スロットは対話文脈上でのspan予測（開始/終了位置）を用いて処理する。
• カテゴリ型スロットは、文脈化されたドメイン-スロット表現と候補値とのコサイン類似度を用いて処理し、ヒンジ損失で学習する。
• カテゴリ型スロットの候補値をエンコードし、ピックリスト選択のために類似度を計算する、別個で固定されたBERTコンポーネントを有効にする。
• 全コンポーネントを結合損失で同時訓練する: L_total = L_gate + L_span + L_picklist.

実験結果

リサーチクエスチョン

• RQ1 カテゴリ型と非カテゴリ型スロットを共同で扱うデュアル戦略は、オントロジーのみまたはスパンのみの手法よりもマルチドメインDSTを改善できるか。
• RQ2 対話文脈とドメイン-スロット情報の相互作用がスロット値予測にどのように影響するか。
• RQ3 部分的 vs. 完全なオントロジーを持つことがDSTの性能と頑健性に与える影響は何か。
• RQ4 どのスロットタイプがカテゴリ型（ピックリスト）対非カテゴリ型（スパン）アプローチから最も恩恵を受けるか。
• RQ5 ノイズが多いMultiWOZ 2.0とクリーンなMultiWOZ 2.1のデータセットでDS-DSTはどのように性能を示すか。

主な発見

• DS-DSTはMultiWOZ 2.0で強い性能を発揮し、2.1でも競争力のある結果を示しており、設定を超えて頑健であることを示している。
• 3つのモジュール（gate, span, picklist）を共同訓練する方が、スロットを個別に訓練するより良い結果を生む。
• 特定のスロット（例: hotel-type, internet, parking）は、スパンでは捉えにくい表現の多様性のため、カテゴリ型スロットアプローチからより大きな利得を示す。
• オントロジーが利用可能な場合、ピックリスト varianteはDS-DSTよりさらに性能を改善する。
• 誤差分析は、span-unfound率が高いスロットに対してデュアル戦略から大きな利得があることを明らかにし、時間関連スロットをspanベースの手法にとって難しいと指摘している。