[論文レビュー] Toward Continual Learning for Conversational Agents

Sung‐Jin Lee|arXiv (Cornell University)|Dec 28, 2017

Topic Modeling参考文献 28被引用数 26

ひとこと要約

本稿では、ドメインに依存しないニューラルモデルと、新たな適応的エラスティックウェイトコンsolidation（AEWC）アルゴリズムを用いた継続的学習フレームワークを提案し、タスク間でデータ効率的なスキル蓄積を実現する。この手法は、深刻な忘却を顕著に軽減し、人間同士の会話から転移した後、困難なドメイン外テストセットで72.99%の精度を達成し、微調整と重み転送のベースラインを上回る性能を示した。

ABSTRACT

While end-to-end neural conversation models have led to promising advances in reducing hand-crafted features and errors induced by the traditional complex system architecture, they typically require an enormous amount of data due to the lack of modularity. Previous studies adopted a hybrid approach with knowledge-based components either to abstract out domain-specific information or to augment data to cover more diverse patterns. On the contrary, we propose to directly address the problem using recent developments in the space of continual learning for neural models. Specifically, we adopt a domain-independent neural conversational model and introduce a novel neural continual learning algorithm that allows a conversational agent to accumulate skills across different tasks in a data-efficient way. To the best of our knowledge, this is the first work that applies continual learning to conversation systems. We verified the efficacy of our method through a conversational skill transfer from either synthetic dialogs or human-human dialogs to human-computer conversations in a customer support domain.

研究の動機と目的

• エンドツーエンドのニューラル会話モデルが、タスク固有の大量データを必要とするというデータ集約的問題に対処すること。
• 新しい会話スキルを逐次学習する際、ニューラルネットワークにおける深刻な忘却を克服すること。
• 多様でターゲットドメインでないデータ（例：合成会話や人間同士の会話）から、実世界の顧客対応タスクへの有効なスキル転送を可能にすること。
• 再訓練を再び行わず、タスク間で知識を蓄積できる汎用的かつドメインに依存しない会話モデルの開発

提案手法

• ドメインに依存しないニューラル会話モデルを、タスクの連続的な学習に用いて、ドメイン間での一般化を可能にする。
• タスクの重要度とパラメータの感受性に基づき、正則化強度を動的に調整する、新しい継続的学習アルゴリズムである適応的エラスティックウェイトコンsolidation（AEWC）を提案する。
• 適応的スケーリングを施したエラスティックウェイトコンsolidationを適用し、新しいタスクでの微調整時に、以前のタスクからの知識を保持する。
• 変動が大きい人間同士の会話からの転移において、耐性を高めるために、発話および状態埋め込みにドロップアウト正則化（0.4）を適用する。
• 長距離依存性を管理し、転移学習におけるノイズを低減するため、最大発話長を20トークンに制限する。
• 2段階の訓練プロトコルを採用：まず一般または多様な会話データ（合成またはH-H）で訓練し、その後ターゲットのH-C顧客対応会話で訓練する。

実験結果

リサーチクエスチョン

• RQ1 ニューラル会話エージェントは、以前に習得した会話スキルを忘れないように、新しいタスクを効率的に学習できるか？
• RQ2 AEWCは、多様な会話タスクに対する逐次学習において、深刻な忘却をどれほど効果的に軽減できるか？
• RQ3 事前に合成会話または人間同士の会話で学習したモデルは、実世界のヒューマン・コンピュータ間の顧客対応対話にどの程度一般化できるか？
• RQ4 重み転送だけでは知識転送に十分か、それとも、頑健な継続的学習のためには適応的正則化が必要か？

主な発見

• AEWCは、人間同士の会話から転移した後、HC_reset_password+テストセットで72.99%の精度を達成し、重み転送（57.81%）とノーパラメータ転送（27.39%）のベースラインを顕著に上回った。
• H-C会話転移タスクにおいて、AEWCは訓練例が増加しても高い性能（HC_reset_password+で68.88%）を維持した一方、重み転送の性能は低下し、忘却が生じた。
• 1つの訓練例のみで、AEWCと重み転送はドメイン外テストセットで50%以上の精度を達成し、優れた事前知識の転送が可能であることを示した。
• 重み転送モデルの性能は、HC_reset_password+で顕著に低下し、システム的ノイズと分布シフトの影響を受けることが確認され、標準的な微調整の脆さが裏付けられた。
• AEWCは、すべての訓練ステップで一貫した向上を示し、過去の知識の安定的かつ効果的な統合が可能であることを示した。
• 本手法は、多様なトピックと長い発話を含む人間同士の会話から、ラベル付きデータが最小限のターゲット顧客対応ドメインへの転送に成功した。