[論文レビュー] Unsupervised Dialog Structure Learning

Weiyan Shi, Tiancheng Zhao+1 more|arXiv (Cornell University)|Apr 7, 2019

Topic Modeling参考文献 26被引用数 12

ひとこと要約

本稿では、Gumbel-Softmaxを用いて潜在状態およびタスク指向対話における遷移をモデル化する離散変分再帰ニューラルネットワーク（Discrete-VRNN）を用いた教師なし手法を提案する。この手法は、構造発見において従来のHMMベースのモデルを上回り、報酬関数に学習された遷移確率を統合することにより強化学習ベースの対話システムの学習を加速し、収束を早め、成功確率を向上させる。

ABSTRACT

Learning a shared dialog structure from a set of task-oriented dialogs is an important challenge in computational linguistics. The learned dialog structure can shed light on how to analyze human dialogs, and more importantly contribute to the design and evaluation of dialog systems. We propose to extract dialog structures using a modified VRNN model with discrete latent vectors. Different from existing HMM-based models, our model is based on variational-autoencoder (VAE). Such model is able to capture more dynamics in dialogs beyond the surface forms of the language. We find that qualitatively, our method extracts meaningful dialog structure, and quantitatively, outperforms previous models on the ability to predict unseen data. We further evaluate the model's effectiveness in a downstream task, the dialog system building task. Experiments show that, by integrating the learned dialog structure into the reward function design, the model converges faster and to a better outcome in a reinforcement learning setting.

研究の動機と目的

• 人間同士のタスク指向対話から、人為的アノテーションを一切用いずに、潜在的な対話構造を自動で発見すること。
• 従来のHMMの能力を超えて、複雑で非線形的な会話的ダイナミクスをモデル化すること。
• 強化学習の報酬設計に学習された対話構造を統合することで、下流の対話システムの学習を改善すること。
• 意味のある会話フローと遷移を捉える解釈可能な離散潜在変数モデルを構築すること。

提案手法

• 解釈可能性を高めるために、Gumbel-Softmax再パラメータ化を用いた離散潜在ベクトルを有する修正された変分再帰ニューラルネットワーク（VRNN）を採用する。
• 各発話ペairを潜在状態に属するとみなし、状態間の遷移は遷移確率表によって制御される。
• 状態依存性を捉えるために、2つの変種を導入する：D-VRNN（間接的遷移モデリング）とDD-VRNN（直接的遷移モデリング）。
• 発話の再構築と潜在対話構造の発見を同時に最適化するため、変分推論を用いる。
• 強化学習の報酬関数において、予測された遷移分布と学習済み分布とのKLダイバージェンスを信号として活用する。
• 学習された対話構造を強化学習に統合し、現実世界の対話パターンからの逸脱をペナルティ化する報酬関数を設計する。

実験結果

リサーチクエスチョン

• RQ1 離散潜在変数を有する深層生成モデルは、人為的アノテーションのない生のタスク指向対話から意味のある対話構造を効果的に発見できるか？
• RQ2 提案されたDiscrete-VRNNモデルは、教師なし対話構造学習においてHMMベースのベースラインと比較してどの程度優れているか？
• RQ3 学習された対話構造は、強化学習ベースの対話システムの学習効率と成功確率をどの程度向上できるか？
• RQ4 予測された遷移分布と実際の分布とのKLダイバージェンスを強化学習の報酬関数に組み込むことで、収束が速くなり、ポリシー性能が向上するか？

主な発見

• Discrete-VRNNモデルは、定量的・定性的な両面で、従来のHMMベースのモデルを上回る優れた性能を達成した。
• 予測された遷移分布と実際の分布との乖離をペナルティ化するKL報酬関数は、強化学習の学習において収束を早め、成功確率を向上させる。
• KL報酬と繰り返しペナルティ（KL+Rep）を組み合わせた場合、個々の報酬成分よりもより安定的かつ最高の最終的成功率が得られ、優れている。
• 報酬関数に構造的かつデータ駆動の遷移信号を組み込むことで、ベースラインに比べてより良いポリシーに早く収束し、分散も低減された。
• 学習された遷移確率表は、レストラン予約タスクにおける典型的なフローといった現実世界の対話パターンを捉えており、ポリシー学習を効果的に導くことができた。