[論文レビュー] Energy-Based Models for Continual Learning

Shuang Li, Yilun Du+2 more|arXiv (Cornell University)|Nov 24, 2020

Domain Adaptation and Few-Shot Learning参考文献 64被引用数 6

ひとこと要約

本稿では、再訓練や保存データを必要とせず、クラスラベルのペアに対する正規化されていないエネルギー関数を学習することで、災難的忘却を回避する新たな連続的学習のアプローチとしてエネルギーに基づくモデル（EBMs）を提案する。対照的勾配降下法を用いた目的関数により、関連する特徴のみが選択的に更新される。EBMsは、リプレイや保存データを用いないクラス増分学習および境界なし連続的学習のベンチマークにおいて、既存手法を著しく上回る性能を発揮する。

ABSTRACT

We motivate Energy-Based Models (EBMs) as a promising model class for continual learning problems. Instead of tackling continual learning via the use of external memory, growing models, or regularization, EBMs change the underlying training objective to cause less interference with previously learned information. Our proposed version of EBMs for continual learning is simple, efficient, and outperforms baseline methods by a large margin on several benchmarks. Moreover, our proposed contrastive divergence-based training objective can be combined with other continual learning methods, resulting in substantial boosts in their performance. We further show that EBMs are adaptable to a more general continual learning setting where the data distribution changes without the notion of explicitly delineated tasks. These observations point towards EBMs as a useful building block for future continual learning methods.

研究の動機と目的

• 分類を確率的分類ではなくエネルギーに基づく学習に再考することで、連続的学習における災難的忘却を解消すること。
• 特定の入力特徴に焦点を当てることで、条件付き利得を用いて、以前に学習した知識への干渉を最小限に抑える訓練目的関数の開発。
• 特にリプレイや外部メモリを必要とせず、境界ありおよび境界なしの両設定で効果的な連続的学習を可能にすること。
• 既存の連続的学習手法を強化できる、シンプルで効率的かつ広く適用可能な訓練フレームワークの提供。
• EBMsがタスク境界情報に依存せず、動的に増加するクラスや分布シフトに対しても自然に適応できることの実証。

提案手法

• 正しいクラスラベルペアに低いエネルギー値、誤ったペアに高いエネルギー値を割り当てるエネルギー関数を学習することで、分類をエネルギーに基づく学習に定式化し、対照的勾配降下法に基づく訓練目的関数を用いる。
• 条件付き利得メカニズムを導入し、アテンションフィルタとして機能させることで、訓練中に特定のクラスに関連する入力特徴に焦点を当てる。
• 真のラベルのエネルギーを最小化し、誤りラベルのエネルギーを最大化するウェークスリーププロセスを用いてモデルを訓練し、過去の知識への干渉を低減する。
• 既存のネットワークを再学習せずに、新しい条件付き利得を学習することで、新規クラスへの動的拡張を実現する。
• 標準的なクラス増分学習と、タスク境界が明示的に定義されていないより困難な境界なし連続的学習の両方に、EBMフレームワークを適用する。
• 既存の正則化手法（例：Online EWC、SI）とEBM目的関数を組み合わせることで、境界ありおよび境界なしの両設定における性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 外部メモリやモデル拡張に依存せず、エネルギーに基づくモデルが災難的忘却を軽減できるか？
• RQ2 リプレイや保存データを一切使用しない状況で、EBMsがクラス増分学習においてどの程度の性能を発揮するか？
• RQ3 タスク境界が明示的に定義されていない境界なし連続的学習において、EBMsが効果的に適用可能か？
• RQ4 対照的勾配降下法に基づくEBM目的関数は、既存の正則化技術と組み合わせることで性能向上をもたらすか？
• RQ5 EBMsにおける条件付き利得メカニズムは、以前に学習した知識への干渉をどのように低減するか？

主な発見

• 境界なし設定下でスプリットMNISTにおいて、EBMsは平均テスト精度81.78% ± 1.22を達成し、Online EWC（39.62%）およびSI（28.79%）を著しく上回った。
• パーカーブドMNISTでは、EBMsが92.35% ± 0.11を達成したのに対し、Online EWCは41.37%、SIは35.71%であった。
• CIFAR-10では、EBMsが49.47% ± 1.25を達成し、境界なし設定でOnline EWC（22.53%）およびSI（26.26%）を上回った。
• CIFAR-100では、EBMsが34.39% ± 0.24を達成し、境界なし設定でOnline EWC（9.57%）およびSI（10.42%）を著しく上回った。
• EBMsはリプレイや保存データを用いない複数のベンチマークおよび設定において、優れた一般化性能を示した。
• EBM目的関数は、Online EWC や SI といった既存手法と組み合わせ可能であり、境界ありおよび境界なしの両設定で顕著な性能向上をもたらした。