[論文レビュー] Uncertainty-based Continual Learning with Adaptive Regularization

Hongjoon Ahn, Sungmin Cha+2 more|arXiv (Cornell University)|May 28, 2019

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 93

ひとこと要約

論文は、adaptive regularizationを用いたUncertainty-based Continual Learning (UCL)を提案し、ベイズの重み分布に基づくKLベースの正則化項を導出し、不確実性の適応初期化を導入して、さまざまなタスクとアーキテクチャに across continual learningを改善します。

ABSTRACT

We introduce a new neural network-based continual learning algorithm, dubbed as Uncertainty-regularized Continual Learning (UCL), which builds on traditional Bayesian online learning framework with variational inference. We focus on two significant drawbacks of the recently proposed regularization-based methods: a) considerable additional memory cost for determining the per-weight regularization strengths and b) the absence of gracefully forgetting scheme, which can prevent performance degradation in learning new tasks. In this paper, we show UCL can solve these two problems by introducing a fresh interpretation on the Kullback-Leibler (KL) divergence term of the variational lower bound for Gaussian mean-field approximation. Based on the interpretation, we propose the notion of node-wise uncertainty, which drastically reduces the number of additional parameters for implementing per-weight regularization. Moreover, we devise two additional regularization terms that enforce stability by freezing important parameters for past tasks and allow plasticity by controlling the actively learning parameters for a new task. Through extensive experiments, we show UCL convincingly outperforms most of recent state-of-the-art baselines not only on popular supervised learning benchmarks, but also on challenging lifelong reinforcement learning tasks. The source code of our algorithm is available at https://github.com/csm9493/UCL.

研究の動機と目的

• 深いネットワークがタスクの連続にわたって壊滅的忘却を緩和することを動機づける。
• アーキテクチャの深さとタスク構造に適応する、ベイズ的で不確実性を意識した正則化フレームワークを開発する。
• 連続する重み分布を正則化に結びつけるKL発散ベースの閉形式正則化項を導出する。
• 深いアーキテクチャにおける訓練を安定化させるための重み不確実性（sigma）の適応初期化戦略を提案する。

提案手法

• ガウス平均場後方分布間の閉形式KL発散を導出し、正則化項を得る。
• 前方・後方信号伝播の安定化のため、層ごとに重み不確実性（sigma）の適応初期化を導入する。
• チャンネル/フィルタレベルでの不確実性を概念的に扱い、UCLを畳み込みネットワークに拡張し、タスク間での正則化伝播を示す。
• ネットワークアーキテクチャとハイパーパラメータ選択を含む、教師あり学習と強化学習設定の実装詳細を提供する。
• パラメータ効率の良い正則化を実証し、将来のタスクのための「アクティブ・ラーナー」を優先し、適切な場合には忘却を穏やかにする。

実験結果

リサーチクエスチョン

• RQ1 不確実性ベースの正則化は、深層ネットワークにおける連続タスク間の壊滅的忘却を緩和し得るか。
• RQ2 ニューマンの sigma (重み不確実性) は、層間でどのように初期化・適用すべきか、継続学習性能を最大化するには。
• RQ3 適応的正則化は、CNNsとRL環境において、既存のベースライン（EWC、SI、HAT、VCL など）と比較して保持と前向き転移の面でどのように機能するか。
• RQ4 畳み込みアーキテクチャへ per-layer/channel レベルの不確実性を拡張して、タスク間での正則化強度を適切に制御できるか。

主な発見

• ガウス平均場後方分布間の閉形式KL発散が、各重みの正則化項へと集約され、層ごとの正則化式へと展開される。
• 層ごとに sigma の適応初期化戦略を導入することで、深いアーキテクチャ全体の安定性と性能が向上し、前方/後方の分散制御に関する公式が示される。
• CNNsへ UCL をチャンネル/フィルタレベルの不確実性で拡張することで、重要な成分にはより強い正則化が適用され、将来のタスクにはより学習可能な部分が残ることを示す。
• 補足資料に基づく経験的結果は、適応初期化が平均精度の向上と保持の改善を、ベースラインと比較して多様なタスク分割（例：CIFAR-10/100、MNIST variants）でしばしば示すことを示しており、アブレーション分析は上位層の正則化と項（5）（6）の適切な寄与の重要性を強調する。
• 有用な特徴を保持する（出力重みに対する高い正則化）ことで、将来のタスクを支える複数のアクティブ・ラーナーを実現できる、という証拠。
• sigma 初期化と beta（正則化強度）の挙動は、忘却と前向き転移のトレードオフを制御し、強化学習実験での累積報酬に影響を与える。