[論文レビュー] CPR: Classifier-Projection Regularization for Continual Learning

Sungmin Cha, Hsiang Hsu+3 more|arXiv (Cornell University)|Jun 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 19被引用数 32

ひとこと要約

CPRは、既存の正規化ベースの継続学習手法に分類器出力エントロピー正規化項を追加し、それを出力を均一分布に射影することとして解釈し、タスク間での安定性と可塑性を経験的に向上させる。

ABSTRACT

We propose a general, yet simple patch that can be applied to existing regularization-based continual learning methods called classifier-projection regularization (CPR). Inspired by both recent results on neural networks with wide local minima and information theory, CPR adds an additional regularization term that maximizes the entropy of a classifier's output probability. We demonstrate that this additional term can be interpreted as a projection of the conditional probability given by a classifier's output to the uniform distribution. By applying the Pythagorean theorem for KL divergence, we then prove that this projection may (in theory) improve the performance of continual learning methods. In our extensive experimental results, we apply CPR to several state-of-the-art regularization-based continual learning methods and benchmark performance on popular image recognition datasets. Our results demonstrate that CPR indeed promotes a wide local minima and significantly improves both accuracy and plasticity while simultaneously mitigating the catastrophic forgetting of baseline continual learning methods. The codes and scripts for this work are available at https://github.com/csm9493/CPR_CL.

研究の動機と目的

• 広い局所極小を通じて継続学習における壊滅的忘却を動機づけ、対処する。
• 分類器出力のエントロピーを促進する一般的な正規化パッチ（CPR）を導入する。
• CPRを均一分布へ向かう情報投影としての理論的解釈を提供する。
• 標準ベンチマーク上で複数の正規化ベースのCL手法に適用してCPRの有効性を示す。
• タスクとドメインを跨ぐ安定性（忘却）と可塑性（前向き転移）の双方をCPRが改善することを示す。

提案手法

• CPRを、交差エントロピー損失、出力を均一分布へ導くKL発散項、および過去のウェイト正規化項の和として定義する。
• CPRを、均一分布を中心とする凸集合への分類器出力のI投影として解釈する。
• KL発散射影フレームワークとKLのピタゴラス型関係に基づいてこのアプローチを正当化する。
• CPRをいくつかのベースライン正規化ベースCL手法（EWC、SI、MAS、RWalk、AGS-CL）に適用し、複数のデータセットで評価する。
• アブレーションと特徴マップの視覚化を用いて、CPRが広い局所極小と頑健性を促進する役割を分析する。
• CPR付きのPPOを用いたAtariタスクで、継続的強化学習実験へ評価を拡張する。

実験結果

リサーチクエスチョン

• RQ1 分類器出力への射影正規化項を追加することで、標準の正規化ベース手法より継続学習の性能が向上するか？
• RQ2 連続タスク学習において、CPRは安定性（忘却）と可塑性（前向き転移）にどのように影響するか？
• RQ3 CPRは均一分布を中心とするKL球への情報投影として解釈できるか、これが有効性の理論的正当性を提供するか？
• RQ4 既存のCL手法と組み合わせた場合、CPRは多様なデータセットと学習領域（監督あり学習と強化学習）で有効か？

主な発見

• CPRは、検証された正規化ベースのCL手法とデータセット全体で平均精度を一貫して改善する。
• CPRは忘却（安定性）を低減し、提供された指標で前向き転移（可塑性）も向上させる。
• 実証分析は、CPRが基準手法よりも広い損失画面を生み出す（広い局所極小）ことを示している。
• CPRは、KL球内で分類器出力を均一分布へ投影するものとして解釈でき、利得の理論的説明を提供する。
• アブレーション研究は、最初のタスクからCPRを適用することで、その後のタスクに対して強い利益をもたらすことを示す。