[論文レビュー] MA-DST: Multi-Attention Based Scalable Dialog State Tracking

Adarsh Kumar, Peter Ku+3 more|arXiv (Cornell University)|Feb 7, 2020

Topic Modeling参考文献 29被引用数 12

ひとこと要約

MA-DSTは、複数の粒度におけるクロスアテンションと自己アテンションを用いて文脈符号化を向上させるスケーラブルな対話状態追跡のためのマルチアテンション機構を提案する。これにより、複数ドメイン間の共参照を解消できる。MA-DSTはMultiWOZ 2.1で5%の絶対的改善を達成し、ゼロショット設定では最大2%向上し、事前定義されたオントロジーを必要とせずに、先行する最先端モデルを上回る性能を発揮する。

ABSTRACT

Task oriented dialog agents provide a natural language interface for users to complete their goal. Dialog State Tracking (DST), which is often a core component of these systems, tracks the system's understanding of the user's goal throughout the conversation. To enable accurate multi-domain DST, the model needs to encode dependencies between past utterances and slot semantics and understand the dialog context, including long-range cross-domain references. We introduce a novel architecture for this task to encode the conversation history and slot semantics more robustly by using attention mechanisms at multiple granularities. In particular, we use cross-attention to model relationships between the context and slots at different semantic levels and self-attention to resolve cross-domain coreferences. In addition, our proposed architecture does not rely on knowing the domain ontologies beforehand and can also be used in a zero-shot setting for new domains or unseen slot values. Our model improves the joint goal accuracy by 5% (absolute) in the full-data setting and by up to 2% (absolute) in the zero-shot setting over the present state-of-the-art on the MultiWoZ 2.1 dataset.

研究の動機と目的

• 対話履歴とスロット意味の間の複雑な依存関係をよりよくモデル化することで、マルチドメイン・タスク指向対話システムにおける対話状態追跡を改善すること。
• 事前定義されたオントロジーに依存せずに、自由形式で未学習のスロット値を安定して追跡できること。
• すべての（ドメイン、スロット）ペアに共通のモデル重みを適用することで、スケーラビリティと一般化性能を向上させること。
• MultiWOZ 2.1ベンチマークにおいて、フルデータ設定およびゼロショット設定の両方で最先端の性能を達成すること。
• アノテート済みスロット値に依存するのを減らし、会話履歴から生成・コピーすることでスロット値を出力可能にすること。

提案手法

• スロット表現と会話履歴の間のマルチレベルクロスアテンションを用いて、さまざまな意味的粒度での関係を捉える。
• 自己アテンション層を適用し、以前と後の発話間の依存関係をモデル化することで、ドメインをまたがる長距離共参照を解消する。
• 系列生成とポインティング機構を統合し、会話履歴から未学習のスロット値をコピーすることで生成可能にする。
• すべての（ドメイン、スロット）ペアにパラメータを共有することで、再トレーニングなしに新しいドメインへのゼロショット適応を可能にする。
• 生成用の交差エントロピー損失と履歴ベースの値選択用のコピーメカニズムを組み合わせて、エンドツーエンドで学習する。
• ドメインオントロジーの事前知識を必要としないため、オープンボキャブラリや少データ設定に適している。

実験結果

リサーチクエスチョン

• RQ1 複数粒度のアテンション機構は、会話履歴とスロット意味の間の複雑な依存関係のモデル化を改善できるか？
• RQ2 自己アテンションは、マルチドメイン対話状態追跡において、長距離のドメイン間共参照をどの程度効果的に解消できるか？
• RQ3 統一されたモデルアーキテクチャは、訓練データなし（ゼロショット設定）で新しいドメインにどの程度一般化できるか？
• RQ4 アテンションベースのアーキテクチャは、TRADEなどの既存の最先端モデルを上回る性能を発揮できるか？特に、関連スコア精度とゼロショット一般化性能において。
• RQ5 最先端のDSTモデルで最も一般的な誤りタイプは何か？MA-DSTはそれらをどのように軽減しているか？

主な発見

• MA-DSTはMultiWOZ 2.1データセットで51%の関連スコア精度を達成し、前回の最先端モデル比で5%の絶対的改善を示した。
• ゼロショット設定では、前回の最先端モデル比で最大2%の関連スコア精度向上を達成し、未学習ドメインへの強力な一般化性能を示した。
• カテゴリカルスロットでは特に優れた性能を発揮し、restaurant-bookday や hotel-bookstay のようなスロットでは平均99%以上のスロット精度を達成した。
• 会話長が延びるにつれて性能が低下し、ターン0では88%の関連精度からターン10では8%まで低下した。これは長文脈モデル化の課題を示している。
• 約36%の誤りはデータセットの誤ったアノテーションに起因しており、データ品質がモデル評価に大きな影響を与えていることが示された。
• 一般的な誤りタイプには、同じタイプのスロット間の混同（例：hotel-name と attraction-name）や、微細な表記の違い（例：15.15 と 15:15）があり、ファジー一致や後処理による改善の余地がある。