[論文レビュー] Deep Active Learning for Dialogue Generation

Nabiha Asghar, Pascal Poupart+2 more|arXiv (Cornell University)|Dec 12, 2016

Topic Modeling参考文献 41被引用数 10

ひとこと要約

本論文は、1文字のユーザー入力を強化として用いる人間によるリアルタイムのフィードバックを組み合わせた、オフライン2段階の教師あり学習と組みわせたエンドツーエンドでオンラインな深層アクティブラーニングフレームワークを提案する。この手法により、手作業で設計された報酬関数に依存せずに、応答の関連性、一貫性、会話への関与が向上し、段階的学習によりパーソナライズされたキャラクターや会話スタイルの実現が可能になる。

ABSTRACT

We propose an online, end-to-end, neural generative conversational model for open-domain dialogue. It is trained using a unique combination of offline two-phase supervised learning and online human-in-the-loop active learning. While most existing research proposes offline supervision or hand-crafted reward functions for online reinforcement, we devise a novel interactive learning mechanism based on hamming-diverse beam search for response generation and one-character user-feedback at each step. Experiments show that our model inherently promotes the generation of semantically relevant and interesting responses, and can be used to train agents with customized personas, moods and conversational styles.

研究の動機と目的

• オープンドメイン会話におけるニューラル生成モデルが意味的に関連性があり、一貫性があり、会話に参加を促す応答を生成するという限界を克服すること。
• 1文字のフィードバックを用いた人間によるフィードバックを組み合わせたアクティブラーニングメカニズムを導入することで、手作業で設計された報酬関数への依存を排除すること。
• 段階的かつインタラクティブな学習を通じて、カスタマイズ可能なパーソナ、気分、会話スタイルを持つパーソナライズされた会話エージェントを実現すること。
• オンラインアクティブラーニングが、データ効率的で人間中心の方法で会話モデルを効果的に改善できることを示すこと。

提案手法

• モデルは2段階のオフライン教師あり学習アプローチを採用している：まずコールバート映画対話コーパス（30万ペア）で学習し、その後ジャバーワッキーの収集済み8,000ペアの短文会話データセットでファインチューニングを行う。
• 応答生成時に、以前に生成された候補とのハミング距離が大きい応答をペナルティとして課すことで意味的多様性を確保する、新規のハミング多様ビームサーチ（HammingDBS）が採用されている。
• トレーニング後、オンラインアクティブラーニングが開始され、モデルはリアルタイムで人間ユーザーと対話し、1文字のフィードバックを強化として用いる。
• ユーザーが提供するフィードバックに基づいて交差エントロピー損失を計算し、確率的勾配降下法（Adam最適化手法）を用いてモデルパラメータを更新することで、ワンショット適応が可能になる。
• 学習プロセスは反復的である：各ユーザーのメッセージに対して、モデルはHammingDBSで複数の候補応答を生成し、フィードバックに基づいて最良のものを選択し、その対話でファインチューニングを行う。
• 人間のトレーナーが特定の感情的パーソナ（例：明るい、憂鬱、失礼な）を採用できるようにすることで、システムはフィードバックを通じてそのパーソナを模倣する能力を獲得できる。

実験結果

リサーチクエスチョン

• RQ1 最小限の人のフィードバックで、手作業で設計された報酬関数なしに、オンライン深層アクティブラーニングがオープンドメイン会話システムの応答品質を向上させられるか？
• RQ2 ハミング多様ビームサーチの統合は、生成過程における応答の多様性と関連性をどのように向上させるか？
• RQ3 ワンショットでインタラクティブに学習することで、会話モデルがどれほどパーソナライズされたパーソナや会話スタイルを学習・適応できるか？
• RQ4 学習率はオンラインファインチューニング中のモデルの安定性とパフォーマンスにどのような影響を与えるか？
• RQ5 段階的な人間のフィードバックは、時間経過とともに応答の一貫性、関連性、ユーザーの関与度に持続的な改善をもたらすか？

主な発見

• SL2+oALモデルは、すべての4つの評価軸（文法的一致性、関連性、興味の喚起、ユーザー関与）において、SL1およびSL2を平均14〜21%の差で上回った。
• 学習率0.005が安定性とワンショット学習の両立において最良のバランスを示し、それ以上の値はパrameterの不安定性により性能の低下を引き起こした。
• トレーニング対話回数の増加に伴いモデルパフォーマンスが段階的に向上し、300回以上の対話後でも継続的に非ゼロの勾配が観察されたため、継続的な適応が可能であることが示された。
• モデルは意味的に類似しているが文法的に異なるプロンプトに対しても一般化を適切に実行でき、会話パターンのゼロショット転移が効果的に実現された。
• モデルは明るい、憂鬱、失礼なといった異なる感情的パーソナを効果的に学習し、それらに応じた適切な雰囲気の応答を生成できた。
• 人間のジャッジはSL2+oALの応答を著しくより会話的であると評価し、返信を促す傾向が高かったため、会話の流れが向上したことが示された。