[論文レビュー] A Contextual Hierarchical Attention Network with Adaptive Objective for Dialogue State Tracking

Yong Shan, Zekang Li+5 more|arXiv (Cornell University)|Jun 2, 2020

Speech and dialogue systems参考文献 42被引用数 9

ひとこと要約

本稿では、スロットと対話履歴の間のワードレベルおよびターンレベルの複数レベルの相互作用をモデル化するとともに、学習可能な損失重みによる動的スロット不均衡対策を組み込んだ文脈的階層型アテンションネットワークを提案する。この手法により、対話状態追跡（DST）の性能が向上し、MultiWOZ 2.0および2.1でそれぞれ52.68%および58.55%の共同正解率を達成した。

ABSTRACT

Recent studies in dialogue state tracking (DST) leverage historical information to determine states which are generally represented as slot-value pairs. However, most of them have limitations to efficiently exploit relevant context due to the lack of a powerful mechanism for modeling interactions between the slot and the dialogue history. Besides, existing methods usually ignore the slot imbalance problem and treat all slots indiscriminately, which limits the learning of hard slots and eventually hurts overall performance. In this paper, we propose to enhance the DST through employing a contextual hierarchical attention network to not only discern relevant information at both word level and turn level but also learn contextual representations. We further propose an adaptive objective to alleviate the slot imbalance problem by dynamically adjust weights of different slots during training. Experimental results show that our approach reaches 52.68% and 58.55% joint accuracy on MultiWOZ 2.0 and MultiWOZ 2.1 datasets respectively and achieves new state-of-the-art performance with considerable improvements (+1.24% and +5.98%).

研究の動機と目的

• 既存のDST手法が複数レベルのスロットと対話履歴の相互作用を効果的にモデル化できないという限界を解決すること。
• レアまたは学習が難しいスロットが訓練で過小評価されるというスロット不均衡問題を軽減すること。
• ワードレベルおよびターンレベルのアテンションメカニズムを統合することで文脈表現学習を強化すること。
• スロットの難易度に応じて動的に損失重みを調整する戦略を用いることで、全体のDST性能を向上させること。

提案手法

• 対話履歴におけるワードレベルおよびターンレベルの両方の相互作用を捉えるために、文脈的階層型アテンションネットワークを設計した。
• マルチヘッドアテンション機構を用いて、現在のスロットに応じて関連する単語やターンを動的に注目する。
• 両レベルでスタックされた自己アテンションおよびフィードフォワード層を通じて文脈表現を学習した。
• 訓練中に各スロットのインスタンス固有の損失重みを学習する適応的損失関数を導入し、クラス不均衡の影響を低減した。
• 難易度に応じて各スロットの総損失への寄与度を動的に調整することで、希少または難易度の高いスロットの学習を改善した。
• 全体のフレームワークは、共同状態追跡性能を最適化するため、学習可能なスロット重みを用いたクロスエントロピー損失によりエンドツーエンドで訓練した。

実験結果

リサーチクエスチョン

• RQ1 複数レベルのアテンションメカニズムは、対話状態追跡における関連する文脈のモデル化をどのように改善するか？
• RQ2 適応的損失関数は、DSTにおけるスロット不均衡問題をどの程度軽減できるか？
• RQ3 動的損失重み付きの階層型アテンションは、標準的および挑戦的なDSTベンチマークの両方で一貫した改善をもたらすか？
• RQ4 本手法は、MultiWOZ 2.0および2.1において、既存のSOTA手法と比較して共同正解率の面でどの程度優れているか？

主な発見

• 提案手法は、MultiWOZ 2.0データセットで52.68%の共同正解率を達成し、以前のSOTA手法比で+1.24%の向上を示した。
• MultiWOZ 2.1データセットでは、58.55%の共同正解率に達し、先行手法比で顕著な+5.98%の向上を記録した。
• 適応的損失は、簡単なスロットと難しいスロットの間の性能差を効果的に縮小し、過小代表スロットタイプの学習を改善した。
• 階層型アテンション機構により、細かいワードレベルの依存関係と粗いターンレベルの依存関係の両方を捉えることで、より良い文脈モデリングが可能になった。
• 両データセットにおいて一貫した向上が確認され、提案アーキテクチャおよび訓練目的の有効性が裏付けられた。