[論文レビュー] The SPPD System for Schema Guided Dialogue State Tracking Challenge

Miao Li, Haoqi Xiong+1 more|arXiv (Cornell University)|Jun 16, 2020

Speech and dialogue systems参考文献 22被引用数 9

ひとこと要約

本論文では、DSTC8 の Schema Guided Dialogue (SGD) データセット向けに、BERTベースのエンコーダーを活用してスキーマの説明と会話発話の間の意味的関係を捉える、ゼロショット対話状態追跡モデルであるSPPDシステムを提示する。値検索、スロット継承、確率的アンサンブル戦略を統合することで、未観測ドメインやサービスへのゼロショット一般化において特に優れた性能を達成する。

ABSTRACT

This paper introduces one of our group's work on the Dialog System Technology Challenges 8 (DSTC8), the SPPD system for Schema Guided dialogue state tracking challenge. This challenge, named as Track 4 in DSTC8, provides a brand new and challenging dataset for developing scalable multi-domain dialogue state tracking algorithms for real world dialogue systems. We propose a zero-shot dialogue state tracking system for this task. The key components of the system is a number of BERT based zero-shot NLU models that can effectively capture semantic relations between natural language descriptions of services' schemas and utterances from dialogue turns. We also propose some strategies to make the system better to exploit information from longer dialogue history and to overcome the slot carryover problem for multi-domain dialogues. The experimental results show that the proposed system achieves a significant improvement compared with the baseline system.

研究の動機と目的

• 評価セットに未見のドメインやサービスが存在するマルチドメイン・マルチサービス対話システムにおけるゼロショット対話状態追跡の課題に対処すること。
• 既存のモデルが見慣れたオントロジーに依存しているか、新しいドメイン用に微調整を必要としているという制限を克服すること。
• 長期間の会話履歴およびドメイン境界を越えたスロット値の追跡、特に非カテゴリカルスロットの追跡を向上させること。
• 前回のターンからの誤り伝播に対して、動的アテンションとドロップアウト戦略を用いてモデルの頑健性を高めること。
• スキーマの説明と会話発話の間の意味的類似性を活用することで、未見のサービスに対して強い一般化性能を達成すること。

提案手法

• スロット（意図、スロット、値）の説明と会話発話を同時にエンコードするBERTベースのニューラルネットワークを用い、スロット-値関係のエンドツーエンド意味理解を可能にする。
• 訓練時に以前の意図ドロップアウト戦略（ドロップアウト率 0.9）を適用し、前回のターンに過剰に依存するのを防ぎ、誤り伝播に対する頑健性を向上させる。
• 直前のシステム発話からスロット値を抽出する値検索（VR）戦略を実装し、現在のターンを超えた文脈を拡張する。
• マルチドメイン対話におけるスロット値をドメインを越えて伝達するスロット継承（SCO）メカニズムを導入し、共有情報の追跡を向上させる。
• 複数のBERTベースのモデル（例：BERT-Base、BERT-Large、RoBERTa-Large）の予測を確率的組み合わせ（ProbAvg）戦略で統合し、信頼性と正確性を向上させる。
• 複数の微調整済みモデルの出力を平均化するアンサンブルモデルを用い、共同目標精度および平均目標精度の向上をさらに促進する。

実験結果

リサーチクエスチョン

• RQ1 BERTベースのモデルは、そのドメインで微調整を行わずに、未見のドメインやサービスに対し、対話状態追跡で効果的に一般化できるか？
• RQ2 対話状態トラッカーは、システム発話やドメインを越えたスロット継承を含む、より長い会話履歴の情報をどのように活用できるか？
• RQ3 マルチターン対話状態追跡において、前回のターンからの誤り伝播を緩和する戦略は何か？
• RQ4 複数のBERTベースのモデルの確率的組み合わせが、ゼロショットおよびフェイシュット評価設定での性能向上にどの程度寄与するか？
• RQ5 アテンション機構を用いてスキーマの説明の意味的特徴を統合することで、マルチドメイン対話システムにおけるゼロショット一般化がどの程度向上するか？

主な発見

• 提案されたシステムは、テストセットで90.0%（91.6/87.8）の共同目標精度を達成し、ベースラインモデルを著しく上回り、強いゼロショット一般化能力を示した。
• 意図認識精度は98.8%（98.9/98.6）に達し、特に未見のサービスの処理において顕著な向上が見られた。
• 訓練時に0.9の以前の意図ドロップアウト率を用いることで、最高の意図認識精度が得られ、これは前回のターンに依存を減らすことで頑健性が向上することを示している。
• 値検索（VR）およびスロット継承（SCO）戦略により、現在の発話にのみ依存するモデルが見逃しやすい非カテゴリカルスロットの性能が顕著に向上した。
• 確率的組み合わせ戦略（ProbAvg）およびアンサンブルモデル（アンサンブル + すべての戦略）が最良の全体的結果を達成し、テストセットで共同目標精度90.0%、F1スコア99.5%を記録した。
• 提案されたシステムでは、見慣れたサービスと未見のサービスの間の性能差が非常に小さく（共同目標精度で88.1% vs. 85.6%）、ベースラインと比較して強いゼロショット一般化能力を確認した。