[論文レビュー] Flexible and Scalable State Tracking Framework for Goal-Oriented Dialogue Systems

Rahul Goel, Shachi Paul+4 more|arXiv (Cornell University)|Nov 30, 2018

Speech and dialogue systems参考文献 25被引用数 22

ひとこと要約

本論文は、事前に定義された値集合に依存せず、離散的な状態変数を学習するドメインに依存しないスケーラブルな対話状態追跡フレームワークを提案する。これにより、新しいドメインやマルチ値スロットへの柔軟な拡張が可能となる。動的に生成された候補集合に対するバイナリ分類と事前学習された埋め込みを活用することで、閉鎖語彙仮定や複雑なアーキテクチャに依存せずに、DSTC2で競争力のある性能を達成する。

ABSTRACT

Goal-oriented dialogue systems typically rely on components specifically developed for a single task or domain. This limits such systems in two different ways: If there is an update in the task domain, the dialogue system usually needs to be updated or completely re-trained. It is also harder to extend such dialogue systems to different and multiple domains. The dialogue state tracker in conventional dialogue systems is one such component - it is usually designed to fit a well-defined application domain. For example, it is common for a state variable to be a categorical distribution over a manually-predefined set of entities (Henderson et al., 2013), resulting in an inflexible and hard-to-extend dialogue system. In this paper, we propose a new approach for dialogue state tracking that can generalize well over multiple domains without incorporating any domain-specific knowledge. Under this framework, discrete dialogue state variables are learned independently and the information of a predefined set of possible values for dialogue state variables is not required. Furthermore, it enables adding arbitrary dialogue context as features and allows for multiple values to be associated with a single state variable. These characteristics make it much easier to expand the dialogue state space. We evaluate our framework using the widely used dialogue state tracking challenge data set (DSTC2) and show that our framework yields competitive results with other state-of-the-art results despite incorporating little domain knowledge. We also show that this framework can benefit from widely available external resources such as pre-trained word embeddings.

研究の動機と目的

• 従来の対話状態トラッカーが固定で手動で定義されたスロット-値集合に依存するという柔軟性の欠如を解決すること。
• 再トレーニングやコアコンポーネントの再設計なしに、新しいドメインや複雑なユースケースへの対話システムの容易な拡張を可能にすること。
• マルチ値スロットおよび任意のスロット値（包括的語彙外(OOV)語を含む）の記述をサポートすること。
• 閉鎖語彙仮定や明示的なルールベースの更新を必要としない、スケーラブルでドメインに依存しないフレームワークを構築すること。
• DSTC2ベンチマーク上で、最小限のドメイン固有の知識を用いて、本手法の実現可能性と競争力を示すこと。

提案手法

• フレームワークは各対話状態変数を独立して扱い、動的に生成された候補集合に対するバイナリ分類によりその値を学習する。
• 候補は発話のn-gramとSLU（意味的言語理解）の出力から導出され、固定されたオントロジーに依存しない。
• 発話を表現するために事前学習された単語埋め込みを用い、未学習のスロット値への一般化を向上させる。
• 複数の値を同時に確率推定することでマルチ値スロットをサポートする。これに対して、ソフトマックスベースのモデルは単一値に制限される。
• 複数のモデルのアンサンブルにより性能が向上し、特に分散が大きい状況で顕著な向上が得られる。
• エンドツーエンド学習を避けることで、記号的で離散的な状態を維持し、解釈可能性と後続APIとの互換性を保つ。

実験結果

リサーチクエスチョン

• RQ1 事前に定義されたスロット-値集合が不要な状態追跡フレームワークを設計できるか？
• RQ2 どのような方法で、状態追跡フレームワークがマルチ値および語彙外スロット値を効果的にサポートできるか？
• RQ3 ドメインに依存しないフレームワークは、閉鎖語彙仮定なしに、DSTC2のような標準ベンチマークでどの程度競争力のある性能を達成できるか？
• RQ4 SLUと状態追跡の共同学習は、SLU出力を入力として使用する場合と比較して、より高い耐障害性をもたらすか？
• RQ5 事前学習された単語埋め込みは、リソースが限られた環境やオープン語彙設定で性能向上をもたらすか？

主な発見

• 提案されたフレームワークはDSTC2ベンチマークで競争力のある結果を達成し、単一モデルを用いてテストセットで80.5%のジョイントF1スコアを達成した。
• アンサンブルによりすべての設定で性能が向上し、標準偏差が大きい実験で最も顕著な向上が観察され、不確実性下での耐性が示された。
• Rastogiら（2018）が提案した、候補集合なしで発話に対してシーケンスタギングを用いた手法よりも優れた性能を示し、構造化された候補学習の利点を裏付けた。
• SLUと状態追跡の共同学習は、SLU出力のみを入力として使用する場合よりも優れた結果をもたらし、ノイズの多いSLU予測からの誤り回復が可能であることを示唆した。
• 事前学習された単語埋め込みは、複数の設定で一貫した性能向上をもたらし、特にOOV語の処理において顕著であった。
• フレームワークはスケーラブルで拡張可能であり、再トレーニングやアーキテクチャの変更なしに、任意のスロット値や新しいドメインをサポートできる。