[論文レビュー] Towards Universal Dialogue State Tracking

Liliang Ren, Kaige Xie+2 more|arXiv (Cornell University)|Oct 22, 2018

Speech and dialogue systems参考文献 27被引用数 6

ひとこと要約

本稿では、すべてのスロットにわたるパラメータ共有、固定オントロジー や 手作業で作成された語彙への依存の排除、および事前学習済み単語埋め込みの使用により、従来のモデルの主な制限を克服する包括的対話状態トラッカーであるStateNetを提案する。StateNetは、DSTC2およびWOZ 2.0ベンチマークの両方で最先端の共同目標正解率を達成し、パラメータ共有とスロット固有の事前学習初期化により、先行手法を上回る性能を発揮する。

ABSTRACT

Dialogue state tracking is the core part of a spoken dialogue system. It estimates the beliefs of possible user's goals at every dialogue turn. However, for most current approaches, it's difficult to scale to large dialogue domains. They have one or more of following limitations: (a) Some models don't work in the situation where slot values in ontology changes dynamically; (b) The number of model parameters is proportional to the number of slots; (c) Some models extract features based on hand-crafted lexicons. To tackle these challenges, we propose StateNet, a universal dialogue state tracker. It is independent of the number of values, shares parameters across all slots, and uses pre-trained word vectors instead of explicit semantic dictionaries. Our experiments on two datasets show that our approach not only overcomes the limitations, but also significantly outperforms the performance of state-of-the-art approaches.

研究の動機と目的

• 固定オントロジー、スロットごとの大きなパラメータ数、および手作業で作成された意味的辞書に依存する従来の対話状態トラッカーのスケーラビリティの制限を解消すること。
• 再トレーニングや再パラメータ化なしに、動的に変化するスロット値を処理できる包括的トラッカーの開発。
• すべてのスロットにわたる共通アーキテクチャによるパラメータ共有により、モデルの複雑さを低減し、一般化性能を向上させること。
• 手動でのアノテーションが不要になるように、事前学習済み単語ベクトルと自動的なn-gram表現に依存すること。
• スロット固有の事前学習とトランスファー学習により、リソースが限られたスロットや難しいスロット（例：食品）の性能を向上させること。

提案手法

• StateNetは、ユーザ発話とマシンアクションの対話履歴を長短記憶ニューラルネットワーク（LSTM）で符号化し、文脈に適した表現を生成する。
• 自信スコアを用いて自動音声認識（ASR）の仮説からn-gram重み付き単語ベクトルを構築し、認識エラーに対して耐性を持つ。
• ユーザー発話表現をさまざまなn-gramレベルで処理するマルチスケールレセプターレイヤーを採用し、多様な意味的パターンを捉える。
• 各スロットに対して、対話履歴の固定長表現を計算し、候補スロット値の事前学習済み単語ベクトルと距離ベースのスコアリング機構を用いて比較する。
• すべてのスロットにわたってパラメータ共有を実装し、知識の転送を可能にするとともに、スロット数に依存しないモデル複雑度の低減を実現する。
• 2段階のトレーニング戦略を採用：まず、難易度の高い1つのスロット（例：食品）で事前学習を行い、次に初期化された重みを用いて全スロットで微調整することで収束性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 再トレーニングや再パラメータ化なしに、動的に新しいまたは変化するスロット値を処理できる対話状態トラッカーを設計できるか？
• RQ2 スロット間でのパラメータ共有は、性能を損なわせることなく一般化性能を向上させるとともにモデル複雑度を低減できるか？
• RQ3 最も難しいスロット（例：食品）で事前学習することで、易しいスロットで事前学習するのと比較して、より高い共同目標正解率が得られるか？
• RQ4 手動でのアノテーションされたユーザ発話や手作業で作成された意味的辞書に依存せずに、最先端の性能を達成できるか？
• RQ5 事前学習済み単語ベクトルとマルチスケールn-gram表現の使用は、スロット固有の意味を効果的に捉えるのにどれほど有効か？

主な発見

• 食品スロットで事前学習を行ったStateNet_PSIは、DSTC2で88.9%、WOZ 2.0で88.2%の共同目標正解率を達成し、すべての先行最先端モデルを上回る。
• 表2のアブレーションスタディにより、最も難しいスロット（食品）で事前学習することで、全体の共同目標正解率が顕著に向上することが確認された。
• パラメータ共有によりモデル複雑度が低減され、発散を防ぎ、スロット間での有効な知識転送が可能になった。
• 手動でのアノテーションされたユーザ発話が不要であり、事前学習済み単語ベクトルとASR出力に依存することで高い性能を達成した。
• マルチスケールn-gram表現の使用により、ASRエラーに対する耐性が向上し、ユーザ発話の意味的表現が強化された。
• 新しいスロット値が利用可能な事前学習済み単語ベクトルがあれば、スロット値の数に依存せずにスケーラブルである。