[論文レビュー] Generating High-Quality and Informative Conversation Responses with Sequence-to-Sequence Models

Louis Yuanlong Shao, Stephan Gouws+4 more|arXiv (Cornell University)|Jan 11, 2017

Topic Modeling参考文献 8被引用数 21

ひとこと要約

本稿では、sequence-to-sequence対話モデルにおける長文で一貫性があり多様な応答生成を改善するため、グリムプモデルのトレーニング手法とセグメントベースの確率的ビームサーチデコード法を提案する。固定長のターゲットセグメントで学習し、再ランク付けによる早期の多様性注入により、ベースラインモデルに比べて著しく長く、品質の高い応答を生成する。人的評価では、特に長文出力において、明示的な長さ正則化がなくても、受容性および優れた応答の割合が向上していることが示された。

ABSTRACT

Sequence-to-sequence models have been applied to the conversation response generation problem where the source sequence is the conversation history and the target sequence is the response. Unlike translation, conversation responding is inherently creative. The generation of long, informative, coherent, and diverse responses remains a hard task. In this work, we focus on the single turn setting. We add self-attention to the decoder to maintain coherence in longer responses, and we propose a practical approach, called the glimpse-model, for scaling to large datasets. We introduce a stochastic beam-search algorithm with segment-by-segment reranking which lets us inject diversity earlier in the generation process. We trained on a combined data set of over 2.3B conversation messages mined from the web. In human evaluation studies, our method produces longer responses overall, with a higher proportion rated as acceptable and excellent as length increases, compared to baseline sequence-to-sequence models with explicit length-promotion. A back-off strategy produces better responses overall, in the full spectrum of lengths.

研究の動機と目的

• 神経対話モデルにおいて、長文で一貫性があり多様な応答を生成する課題に対処すること。これは、しばしば短く、一般的または重複する返答を生成する傾向がある。
• 23億メッセージを超える大規模な対話データセットに対して、トレーニング効率や応答品質を損なわず、sequence-to-sequenceモデルをスケーリングすること。
• 生成プロセスを変更して多様性を生成の初期段階に注入することで、応答の多様性と一貫性を向上させること。
• 多様な長文生成と頑健な短文生成の長所を組み合わせたバックオフ戦略を構築し、全体的なパフォーマンスを最適化すること。

提案手法

• 固定長のターゲットシーケンスで学習するグリムプモデルを導入し、大規模データセットへの効率的スケーリングを可能にする。
• 長文の生成応答における一貫性を維持するために、デコーダーで自己注意機構を採用する。
• 再ランク付けを用いたセグメントごとの確率的ビームサーチデコードを提案し、生成プロセスの初期段階で多様性を注入する。
• 応答が40文字未満の場合には標準的なビームサーチ（長さ正則化なし）にフォールバックする戦略を採用し、両手法の長所を組み合わせる。
• 大規模なウェブマイニング対話データ（23億メッセージ）を活用してトレーニングし、多様な会話パターンへの一般化を可能にする。
• 公平な比較のため、ベースラインでは長さ正則化を適用しているが、提案手法は明示的な長さ促進目的を必要としない。

実験結果

リサーチクエスチョン

• RQ1 固定長ターゲット学習（グリムプモデル）は、非常に大規模な対話データセットへの効率的スケーリングを可能にするとともに、応答品質を維持または向上させることができるか？
• RQ2 再ランク付けを伴うセグメント別確率的ビームサーチは、長さ正則化付きの標準的ビームサーチに比べ、生成応答の多様性と一貫性を向上させるか？
• RQ3 多様な長文生成と頑健な短文生成の長所を組み合わせたバックオフ戦略は、単独で用いる場合よりも優れた全体的な応答品質を達成できるか？
• RQ4 応答長が人的評価の品質認識に与える影響は何か？ また、提案手法は、ベースラインが失敗する長文においても高い評価を維持できるか？

主な発見

• 提案手法は平均して著しく長い応答を生成し、応答の3分の1が100文字を超える一方、ベースラインではその割合は無視できるほど小さい。
• 人的評価では、提案手法では応答長が延びても「受容可能」と「優れた」応答の割合が安定または増加するのに対し、ベースラインでは急激に低下する。
• 両手法を組み合わせたバックオフ戦略は、単独で用いた場合よりも「優れた」、「良い」、「受容可能な」、「平凡な」評価が多く、逆に「悪い」評価が少ない。
• ペairwiseの人的好みテストでは、180組の応答ペアのうち103組で統計的に有意に提案モデルが好まれた。
• 10トークンのターゲットセグメントでのみ学習しているにもかかわらず、グリムプモデルは初期トレーニング段階でベースラインを上回る性能を示し、ターゲット側の注意機構による一般化性能の向上が示唆された。
• 明示的な長さ促進目的がなくても、より優れたデコードおよびトレーニング戦略により、高品質な応答が得られることを示した。