[論文レビュー] A Hierarchical Latent Structure for Variational Conversation Modeling

Yookoon Park, Jaemin Cho+1 more|arXiv (Cornell University)|Apr 10, 2018

Topic Modeling参考文献 14被引用数 17

ひとこと要約

本稿では、階層的潜在構造と発話ドロップ正則化を用いた、VAEに基づく新たな対話生成モデルであるVariational Hierarchical Conversation RNNs (VHCR)を提案する。このモデルは、グローバルおよびローカルの潜在変数を備え、条件付きVAEにおける退化問題を克服することを目的としている。VHCRはCornell Movie DialogおよびUbuntu Dialog Corpusの両方で最先端のモデルを上回り、生成品質が向上するとともに、分離された潜在空間を用いたグローバルな会話制御が可能である。

ABSTRACT

Variational autoencoders (VAE) combined with hierarchical RNNs have emerged as a powerful framework for conversation modeling. However, they suffer from the notorious degeneration problem, where the decoders learn to ignore latent variables and reduce to vanilla RNNs. We empirically show that this degeneracy occurs mostly due to two reasons. First, the expressive power of hierarchical RNN decoders is often high enough to model the data using only its decoding distributions without relying on the latent variables. Second, the conditional VAE structure whose generation process is conditioned on a context, makes the range of training targets very sparse; that is, the RNN decoders can easily overfit to the training data ignoring the latent variables. To solve the degeneration problem, we propose a novel model named Variational Hierarchical Conversation RNNs (VHCR), involving two key ideas of (1) using a hierarchical structure of latent variables, and (2) exploiting an utterance drop regularization. With evaluations on two datasets of Cornell Movie Dialog and Ubuntu Dialog Corpus, we show that our VHCR successfully utilizes latent variables and outperforms state-of-the-art models for conversation generation. Moreover, it can perform several new utterance control tasks, thanks to its hierarchical latent structure.

研究の動機と目的

• 対話モデリングにおける条件付き変分オートエンコーダー（VAEs）の持続的な退化問題に対処すること。具体的には、デコーダーが潜在変数を無視し、通常のRNNと同様に振る舞う問題である。
• 特に文脈条件付き生成におけるデータスパarsityと過剰に強力なデコーダーが原因となる、階層的VAEにおける退化問題の根本的要因を解明すること。
• 長期間の会話構造を効果的にモデル化し、生成品質を向上させるために、グローバルおよびローカルの両方の潜在変数を有効に活用する新しいモデルアーキテクチャの設計。
• 特にグローバル会話コンテキストを制御可能な形で、分離された潜在空間を用いた制御可能な対話生成を実現すること。

提案手法

• 長期間の依存関係とグローバルコンテキストをより良くモデル化するため、グローバル会話潜在変数（z^conv）とローカル発話レベル潜在変数（z^utt）を備えた階層的潜在構造を導入する。
• 訓練中に発話をランダムにマスクすることで、文脈-発話ペアへの過剰適合を防ぎ、潜在変数への依存を強制する、新たな訓練技術「発話ドロップ正則化」を提案する。
• デコーダーが文脈RNNの隠れ状態と潜在変数の両方に条件付けられて、逐次的に応答を生成する条件付きVAEフレームワークを採用する。
• 発話レベルのRNNエンコーダーとデコーダーに加え、時間経過とともに発話表現を処理するコンテキストレベルのRNNを備えた階層的RNNアーキテクチャを採用する。
• 変分下界の安定な最適化を保証するため、KLアニーリングと再パラメータライゼーショントリックを用いて、VAE目的関数のエンドツーエンド学習を実現する。
• 推論時にはグリーディデコードを採用し、生成品質の評価には自動指標（BLEU、ROUGE、BERTScore）と人的評価を用いる。

実験結果

リサーチクエスチョン

• RQ1 階層的RNNを用いる既存の条件付きVAEモデルが、ワードドロップなどの正則化技術を採用しても、なぜ依然として退化問題を抱えるのか？
• RQ2 文脈条件付き生成におけるデータスパarsityが、対話VAEにおける退化問題にどのように寄与しているのか？
• RQ3 グローバルおよびローカルの両方の潜在変数を備えた階層的潜在構造は、対話モデリングにおける潜在変数の活用と生成品質の向上に寄与するのか？
• RQ4 グローバル潜在変数は、会話のトーンの補間など、会話のグローバル制御にどの程度有効に機能するのか？

主な発見

• VHCRはCornell Movie DialogおよびUbuntu Dialog Corpusの両方で、BLEU、ROUGE、BERTScoreといった複数の自動指標において、HRED、VHRED、および補助損失を用いたVHREDの各ベースラインを上回る最高の性能を達成した。
• 補助的目標なしでも、ベースラインのVHREDバージョンよりも高いかつより安定したKLダイバージェンス値を達成しており、潜在変数のより良い活用が示された。
• Amazon Mechanical Turkを用いた人的評価では、VHCRがより一貫性があり、文脈的に適切な応答を生成することが確認された。特にUbuntu Dialog Corpusでは、性能向上が顕著に現れた。
• グローバル潜在変数z^convに沿った補間により、生成会話のトーンと内容が効果的に変調され、グローバル制御の有効性が実証された。
• z^convを固定してz^uttをサンプリングすることで、多様性はあるが文脈的に整合性のある応答が生成された。これは、グローバルコンテキストと発話レベルの変動が適切に分離されていることを裏付けた。
• 発話ドロップ正則化は、文脈-発話ペアへの過剰適合を効果的に防止し、デコーダーの記憶に依存する傾向を軽減した。一般化性能と潜在変数の活用度の向上によって、その有効性が裏付けられた。