[論文レビュー] Continual Learning for Natural Language Generation in Task-oriented Dialog Systems

Fei Mi, Liangwei Chen+3 more|arXiv (Cornell University)|Oct 2, 2020

Topic Modeling参考文献 50被引用数 4

ひとこと要約

本稿では、エラスティックウェイトコンsolidation（EWC）に基づく適応的正則化と優先順位付きエキスナプルリプレイを組み合わせることで、継続的学習における深刻な忘却を軽減する自然言語生成（NLG）のための継続的学習手法ARPER（Adaptively Regularized Prioritized Exemplar Replay）を提案する。ARPERは、MultiWoZ-2.0において、6つのドメインにわたるスロット誤り率を最大4.45%まで低減させ、メモリ使用量を最小限に抑えながら、既存手法を顕著に上回る性能を達成した。

ABSTRACT

Natural language generation (NLG) is an essential component of task-oriented dialog systems. Despite the recent success of neural approaches for NLG, they are typically developed in an offline manner for particular domains. To better fit real-life applications where new data come in a stream, we study NLG in a "continual learning" setting to expand its knowledge to new domains or functionalities incrementally. The major challenge towards this goal is catastrophic forgetting, meaning that a continually trained model tends to forget the knowledge it has learned before. To this end, we propose a method called ARPER (Adaptively Regularized Prioritized Exemplar Replay) by replaying prioritized historical exemplars, together with an adaptive regularization technique based on ElasticWeight Consolidation. Extensive experiments to continually learn new domains and intents are conducted on MultiWoZ-2.0 to benchmark ARPER with a wide range of techniques. Empirical results demonstrate that ARPER significantly outperforms other methods by effectively mitigating the detrimental catastrophic forgetting issue.

研究の動機と目的

• リアルワールドの対話システムにおいて、新しいドメインや意図を段階的に学習する際、ニューラル自然言語生成（NLG）モデルが示す深刻な忘却を解消すること。
• 過去の全データを再学習しなくてもよい、スケーラブルなNLGのための継続的学習フレームワークの開発。
• 新しいデータに対する段階的学習の過程で、以前に学習した発話パターンの知識保持を向上させること。
• エキスナプルリプレイと適応的正則化を統合することで、モデルの複雑さを増さずに知識の強化を実現すること。
• 標準ベンチマーク上で、多様なNLGアーキテクチャと継続的学習シナリオの両方において、手法の評価を行うこと。

提案手法

• エラスティックウェイトコンソリデーション（EWC）に基づく適応的正則化と優先順位付きエキスナプルリプレイを組み合わせたARPERを提案する。
• 効率的なリプレイを実現するため、過去のデータから多様で代表的なエキスナプルを特定するためのヒーディングベース選択戦略を用いる。
• 選択されたエキスナプル上で計算されたフィッシャー情報行列の近似値を用いて、EWC正則化を適用し、重要なパラメータを保護する。
• 新規データと旧データの分布シフトに基づいて動的に調整される適応的正則化重みを導入する。
• 各学習フェーズにおいて、選択されたエキスナプルを再びリプレイすることで、過去の知識の記憶を強化する。
• 二重構成の学習戦略を採用：エキスナプルリプレイによる記憶保持と、パラメータ安定性のための適応的正則化。

実験結果

リサーチクエスチョン

• RQ1 優先順位付き選択によるエキスナプルリプレイは、継続的学習におけるNLGの深刻な忘却を効果的に軽減できるか？
• RQ2 固定または非適応的正則化と比較して、EWCに基づく適応的正則化は、以前に学習したドメインのパフォーマンス維持にどのように寄与するか？
• RQ3 ARPERは、SCLSTM、SCVAE、GPT-2といった異なるベースNLGモデルに対しても汎用性を示すか？
• RQ4 現実的で段階的な学習設定において、ARPERは最先端の継続的学習手法と比較してどのように性能を発揮するか？
• RQ5 エキスナプル選択戦略（優先順位付き vs. ランダム）が、NLGにおける長期的知識保持に与える影響は何か？

主な発見

• SCLSTMをベースモデルとして使用した場合、ARPERはMultiWoZ-2.0で4.45%のスロット誤り率を達成し、次に良い手法（ER prio + Dropout）を4.04ポイントも上回った。
• アブレーションスタディの結果、優先順位付きエキスナプルと適応的正則化の両方が不可欠であることが確認され、いずれかのコンponentを除去すると性能が著しく低下した。
• GPT-2においても、ARPERは5.32%のスロット誤り率を達成し、GPT-2の本質的な忘却耐性を考慮しても、異なるNLGアーキテクチャにわたる汎用性を示した。
• 事例研究では、ARPERが「Fee」と「Type」などの古いスロットパターンを効果的に保持している一方で、ベースライン手法はスロット漏れや繰り返しエラーを示した。
• わずか250個のエキスナプルを保存するだけで、記憶リプレイとパラメータ正則化のバランスを効果的にとることで、深刻な忘却を軽減した。
• ARPERは全ドメイン、特に最初のドメインにおいても優れたパフォーマンスを維持し、最初のドメインでの最終誤り率が4.04%にとどまり、初期知識の忘却が最小限に抑えられていることが示された。