[論文レビュー] Latent Topic Conversational Models

Tsung-Hsien Wen, Minh-Thang Luong|arXiv (Cornell University)|Sep 19, 2018

Topic Modeling参考文献 36被引用数 4

ひとこと要約

本稿では、オープンドメイン対話システムにおける応答の多様性と品質を向上させるために、シーケンス・ツー・シーケンス（seq2seq）モデルとニューラルトピックモデルを組み合わせたハイブリッドアーキテクチャ、潜在的トピック対話モデル（LTCM）を提案する。入力発話から得られるグローバルなトピック分布を学習し、各デコードステップで応答生成を条件づけることで、ベースラインのseq2seqモデルや潜在変数モデルと比較して、より多様で文脈的に適切で、人間が好む応答を生成可能となる。

ABSTRACT

Latent variable models have been a preferred choice in conversational modeling compared to sequence-to-sequence (seq2seq) models which tend to generate generic and repetitive responses. Despite so, training latent variable models remains to be difficult. In this paper, we propose Latent Topic Conversational Model (LTCM) which augments seq2seq with a neural latent topic component to better guide response generation and make training easier. The neural topic component encodes information from the source sentence to build a global "topic" distribution over words, which is then consulted by the seq2seq model at each generation step. We study in details how the latent representation is learnt in both the vanilla model and LTCM. Our extensive experiments contribute to better understanding and training of conditional latent models for languages. Our results show that by sampling from the learnt latent representations, LTCM can generate diverse and interesting responses. In a subjective human evaluation, the judges also confirm that LTCM is the overall preferred option.

研究の動機と目的

• オープンドメイン対話において、標準的なseq2seqモデルが生成する一般的で繰り返し的で一貫性のない応答の限界を解消すること。
• 構造的なニューラルトピックコンポonentを統合することで、潜在変数モデルの訓練安定性と応答の多様性を向上させること。
• 対話生成において、グローバルな意味的表現（トピック）とローカルな語レベルのダイナミクスを同時に学習すること。
• 分離可能で解釈可能な潜在的トピック空間に条件づけることで、応答の質と多様性が向上するかどうかを検証すること。
• 条件付き潜在変数モデルの訓練に関する実証的知見と実用的ガイドラインを提供すること。

提案手法

• LTCMは、標準的なseq2seqモデルと、入力発話を語のグローバルなトピック分布に変換するニューラルトピックモデルを統合する。
• 潜在的トピック分布は、各デコードステップでコンテキストゲートとして使用され、トピックゲート機構を通じて出力語の確率に影響を与える。
• 再パラメータライゼーションテクニックを用いた変分推論により潜在的トピックコンポーネントを訓練し、勾配はトピック語にのみバックプロパゲートされる。
• 推論時にはトピック表現がサンプリングされ、異なる意味的方向の探索が可能となり、多様な応答が生成される。
• 変分下界の目的関数を用いてモデルを訓練し、KLアンナリングと補助的なバッグオブワード信号を導入して訓練を安定化させる。
• トピックゲート機構により、seq2seqデコーダーとトピックコンポーネントの寄与度が生成過程で動的にバランスされる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルトピックモデルをseq2seqフレームワークに効果的に統合することで、応答の多様性と整合性が向上するか？
• RQ2 潜在的トピック表現が、オープンドメイン対話における応答の質と多様性にどのように影響を与えるか？
• RQ3 分離可能でグローバルなトピック分布に条件づけることで、標準的な潜在変数モデルと比較して一般化性能が向上し、繰り返しの減少が見られるか？
• RQ4 変分下界と応答の多様性のトレードオフが、モデルの性能にどのように影響するか？
• RQ5 人間評価者は、標準的なseq2seqモデルや潜在変数モデルと比較して、学習済みトピックベースの潜在空間から生成された応答を信頼性を持って好むか？

主な発見

• LTCMは、コーパスベースの評価において、独自性スコア42.6%と低いジップフスコアを達成し、ベースラインモデルを上回る顕著な応答多様性を示した。
• 人間評価では、LTCMが最も好まれるモデルであり、全テストモデルの中で面白さ（3.97）と適切さ（4.04）の最大スコアを記録した。
• 顕著に悪い変分下界と高いKL発散を示す一方で、LTCMはベースラインと同等のパープレクサリティを維持しており、追加の損失が話法レベルの多様性を符号化するために使われていることが示唆された。
• モデルの潜在的トピック表現は、グローバルな意味を効果的に捉えており、トピックゲート機構はモデルコンポーネントの協調に人間の直感と整合している。
• 事後分布 $p(\theta|u)$ からのサンプリングは、事前分布 $p(\theta)$ からのサンプリングよりも、より関連性があり多様な応答を生成した。
• 定性的分析により、LTCMはグリーディーや標準的な潜在変数ベースラインと比較して、より高い意味的・構文的多様性を持つ応答を生成することが確認された。