[論文レビュー] Generating Multiple Diverse Responses for Short-Text Conversation

Jun Gao, Wei Bi+3 more|arXiv (Cornell University)|Nov 14, 2018

Topic Modeling参考文献 27被引用数 7

ひとこと要約

本稿では、ポストと複数の多様な応答を、解釈可能な潜在語を行動としてサンプリングすることで、同時に統合的にモデル化する強化学習ベースの生成モデルを提案する。各潜在語を方策ネットワーク内の意思決定として扱うことで、モデルは高品質で多様な応答を同時に生成でき、WeiboおよびTwitterのデータセットにおいて、応答の質と多様性の両面で最先端の手法を上回る性能を発揮する。

ABSTRACT

Neural generative models have become popular and achieved promising performance on short-text conversation tasks. They are generally trained to build a 1-to-1 mapping from the input post to its output response. However, a given post is often associated with multiple replies simultaneously in real applications. Previous research on this task mainly focuses on improving the relevance and informativeness of the top one generated response for each post. Very few works study generating multiple accurate and diverse responses for the same post. In this paper, we propose a novel response generation model, which considers a set of responses jointly and generates multiple diverse responses simultaneously. A reinforcement learning algorithm is designed to solve our model. Experiments on two short-text conversation tasks validate that the multiple responses generated by our model obtain higher quality and larger diversity compared with various state-of-the-art generative models.

研究の動機と目的

• 既存のニューラル生成モデルが入力ポストに対して1つの応答しか生成できないという制限に対処すること。実際の会話では複数の返信が存在する。
• ポストとその応答群を同時にモデル化し、応答間の多様性と文脈的整合性を捉えること。
• 解釈可能な語彙の大きな潜在空間を制御信号として用い、複数の多様な応答を同時に生成できるようにすること。
• 大きな潜在空間における正確な勾配計算が計算的に非現実的であることを踏まえ、強化学習フレームワークによりこれを克服すること。
• 従来のビームサーチや変分オートエンコーダーに基づく手法を上回り、応答の質と多様性の両方を向上させること。

提案手法

• 各入力ポストに対して潜在変数分布を導入し、各サンプルが語彙内の特定の語に対応する。この語が応答生成の制御信号として機能する。
• 潜在語推論ネットワークは、与えられたポストに対して語彙内すべての語の確率分布を推定し、多様なサンプリングを可能にする。
• サンプリングされた潜在語は、生成ネットワークへの条件付き入力として使用され、ポストと選択された語に条件づけられた応答を生成する。
• 強化学習アルゴリズムにより、すべての生成応答の質と多様性を同時に評価する統合報酬信号を最大化することで、方策ネットワークを最適化する。
• 訓練では、異なる意味的クラスタから潜在語を選択するサンプリング方式を採用し、収束性と応答の多様性を向上させる。
• 報酬関数は、入力ポストへの関連性と生成応答間の多様性の両方をバランスさせるように設計されており、全潜在空間における正確な勾配計算に依存しない。

実験結果

リサーチクエスチョン

• RQ1 1つの入力ポストに対して複数の多様な応答を同時に学習できる生成モデルは、応答を独立した出力として扱うのではなく、統合的に学習できるか？
• RQ2 意味的に解釈可能な語彙の大きな潜在空間を、計算コストが著しく増加するのを防ぎつつ、応答の多様性を制御するために効果的に活用できるか？
• RQ3 語レベルの行動を用いた強化学習は、短文会話の文脈において、高品質で多様な応答を生成する既存の手法を上回ることができるか？
• RQ4 選択された潜在語が生成された応答の内容や意味とどの程度相関しているか？
• RQ5 複数の応答を同時にモデル化することで、独立して応答を生成するか、再ランク付けを行う手法よりも性能が向上するか？

主な発見

• 人間評価において、Ours(Min)はTwitterデータセットでMMIに比べ70%高い「良い応答」比率、MultiMechに比べ126%高い「良い応答」比率を達成し、応答の質と多様性の両面で優れた性能を示した。
• Twitterデータセットでは、Ours(Min)はBLEUやdistinct-1/2を含む、すべての自動評価指標ですべてのベースラインを上回った。特に大きな潜在空間を用いた場合に顕著であった。
• 小さな潜在空間（例：1,000語）を用いた場合、モデルの性能が著しく低下した。これは、効果的な多様性と質を実現するには、大きな語彙が不可欠であることを確認した。
• 訓練のエポックに伴い報酬値が安定的に上昇した。これは、強化学習方策が時間経過とともに改善され、より良い潜在語分布を学習していることを示している。
• アテンション可視化の結果、選択された潜在語が入力ポストのキーワードと強く一致しており、モデルが意味的で文脈に適した制御信号を学習していることが確認された。
• 本手法は、意味的に明確に異なるが文脈的に整合性のある応答を生成でき、他のモデルが固定メカニズムやビームサーチに依存するのとは異なり、入力の異なる側面に焦点を当てる異なる応答を生成した。