[論文レビュー] Multi-Domain Dialogue State Tracking based on State Graph

Yan Zeng, Jian‐Yun Nie|arXiv (Cornell University)|Oct 21, 2020

Topic Modeling参考文献 25被引用数 8

ひとこと要約

本稿では、訓練データからの共起パターンに基づき、ドメイン、スロット、値を結ぶ構造的状態グラフを構築する、Graph-DSTというマルチドメイン対話状態追跡モデルを提案する。このグラフを関係性を考慮したGCNで符号化し、それをTransformerエンコーダーに統合することで、推論精度を向上させつつ効率性を維持し、MultiWOZ 2.1でSOTAの53.85%の共同目標精度を達成した。

ABSTRACT

We investigate the problem of multi-domain Dialogue State Tracking (DST) with open vocabulary, which aims to extract the state from the dialogue. Existing approaches usually concatenate previous dialogue state with dialogue history as the input to a bi-directional Transformer encoder. They rely on the self-attention mechanism of Transformer to connect tokens in them. However, attention may be paid to spurious connections, leading to wrong inference. In this paper, we propose to construct a dialogue state graph in which domains, slots and values from the previous dialogue state are connected properly. Through training, the graph node and edge embeddings can encode co-occurrence relations between domain-domain, slot-slot and domain-slot, reflecting the strong transition paths in general dialogue. The state graph, encoded with relational-GCN, is fused into the Transformer encoder. Experimental results show that our approach achieves a new state of the art on the task while remaining efficient. It outperforms existing open-vocabulary DST approaches.

研究の動機と目的

• 注意メカニズムに基づくモデルが、非構造的なトークンレベルの注意によって不適切な接続を形成する可能性があるという、オープンボリューム対話状態追跡における限界を解消すること。
• 局所的な対話履歴に加え、グローバルかつ一般的な対話遷移パターン（例：ドメインの共起）を組み込むことで、DSTのパフォーマンスを向上させること。
• 訓練データから得られるドメイン同士、ドメインとスロット、スロット同士の共起関係を符号化する、構造的かつ多関係性の状態グラフを設計すること。
• Transformerベースのエンコーダーにこのグラフ表現を統合し、文脈モデリングを強化するとともに、推論効率を維持すること。

提案手法

• 以前の対話状態に含まれるドメイン、スロット、値をノードとし、訓練データから導出された共起関係をエッジとする対話状態グラフを構築する。
• 関係性を考慮したグラフ畳み込みネットワーク（R-GCN）を用いて、ノードおよびエッジの埋め込みを符号化し、ドメイン、スロット、値の間で多関係性の依存関係を捉える。
• グラフ符号化された表現を、入力シーケンス（対話履歴および以前の状態）と統合し、双方向のTransformerエンコーダーに組み込む。
• 入力とグラフ強化された文脈から直接スロット値を予測する予測器・生成器フレームワークを用いて、モデルをエンドツーエンドで学習する。
• デコード段階で、グラフ表現とシーケンス表現の寄与度を重みづけるための学習可能な注意メカニズムを適用する。
• すべての（ドメイン、スロット）ペアにおいて一貫した予測を促進するように、共同損失関数を最適化して、共同目標精度を最適化する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン、スロット、値の共起パターンを符号化する構造的状態グラフは、オープンボリューム対話状態追跡を改善できるか？
• RQ2 局所的な注意に依存するのではなく、一般的な対話遷移パターン（例：ドメインの共起）を組み込むことで、DSTパフォーマンスにどのような影響を与えるか？
• RQ3 多関係性グラフ構造を符号化するために関係性を考慮したGCNを用いることで、Transformerのトークンレベルの注意に比べてより良い一般化性能が得られるか？
• RQ4 状態グラフの導入が推論効率に与える影響は何か？ また、顕著な遅延増加を伴わずに統合可能か？
• RQ5 どのドメインでグラフベースのアプローチが最も効果的であり、その理由は何か？

主な発見

• Graph-DSTは、MultiWOZ 2.1のテストセットで53.85%というSOTAの共同目標精度を達成し、既存のオープンボリュームDST手法を上回った。
• 状態グラフを導入しないベースラインと比較して、Hotelドメインで+3.05%、Trainドメインで+3.36%の顕著な性能向上を示した。
• スロット間相関が高い分野（例：ホテルの星評価と無料駐車場）では、グラフが暗黙のスロット同士の共起関係を捉えているため、性能向上が顕著に現れた。
• わずか4msの遅延増加で、SOM-DSTを上回り、P100 GPU上で1ターンあたり平均52msの推論時間という高い効率性を維持した。
• 誤差解析の結果、スロット間に相関のないドメイン（例：Restaurant）や、リアルタイムでの値抽出を要するスロット（例：タクシー出発時刻）では、グラフが効果を発揮しなかった。これは、入力構造の制限に起因すると考えられた。
• スロットレベルのスキーマグラフよりも、状態グラフがより情報豊かなインダクティブバイアスを提供していることが、CSFN-SDTのスキーマグラフで報告された0.42%の向上と比較して、顕著なパフォーマンス向上によって裏付けられた。