[論文レビュー] Isolation and Impartial Aggregation: A Paradigm of Incremental Learning without Interference

Yabin Wang, Zhiheng Ma+4 more|arXiv (Cornell University)|Nov 29, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、干渉を防ぐために段階別分類器を隔離し、アンカーに基づくエネルギー自己正規化を用いて公平に統合する、リハーよりのインクリメンタル学習フレームワークESNを提案する。温度制御エネルギー指標による信頼度スコアのキャリブレーションと投票ベースの推論により、4つのベンチマークで最先端の性能を達成し、最小限の忘却を実現する。

ABSTRACT

This paper focuses on the prevalent performance imbalance in the stages of incremental learning. To avoid obvious stage learning bottlenecks, we propose a brand-new stage-isolation based incremental learning framework, which leverages a series of stage-isolated classifiers to perform the learning task of each stage without the interference of others. To be concrete, to aggregate multiple stage classifiers as a uniform one impartially, we first introduce a temperature-controlled energy metric for indicating the confidence score levels of the stage classifiers. We then propose an anchor-based energy self-normalization strategy to ensure the stage classifiers work at the same energy level. Finally, we design a voting-based inference augmentation strategy for robust inference. The proposed method is rehearsal free and can work for almost all continual learning scenarios. We evaluate the proposed method on four large benchmarks. Extensive results demonstrate the superiority of the proposed method in setting up new state-of-the-art overall performance. \emph{Code is available at} \url{https://github.com/iamwangyabin/ESN}.

研究の動機と目的

• インクリメンタル学習における段階間の性能不均衡を解消すること。特に、後続段階で深刻な記憶消失と低精度が生じる問題に取り組む。
• 異なるタスクで学習された一貫性のない信頼度分布を示す段階別分類器を統合する課題を克服すること。
• 過去データの保存を避けるリハーサルフリーなパラダイムを構築し、全段階で高い精度を維持すること。
• 出力信頼度レベルを共通のエネルギー平面に正規化することで、分類器の公平な統合を保証すること。
• 投票ベースの拡張を用いた推論機構を設計し、一般化性能を向上させること。

提案手法

• 一貫した段階内特徴表現を提供するため、固定された事前学習済みVision Transformer (ViT)バックボーンを固定された特徴抽出器として使用する。
• 温度制御エネルギー指標を導入し、段階別分類器の信頼度スコアレベルを定量化・一致させる。
• すべての段階分類器が同じエネルギー平面で動作するよう強制するアンカーに基づくエネルギー自己正規化損失を提案する。これにより公平な統合が可能になる。
• バックボーンの微調整を伴わずに、タスク固有の軽量なデコーダーとしてクラスアテンションブロック (CAB) を使用して段階別分類器を学習する。
• すべての段階分類器の予測を統合することで、耐性と一般化性能を向上させる投票ベースの推論戦略を実装する。
• 投票結果に基づく動的温度選択戦略を用い、信頼度スコアをさらにキャリブレーションし、性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 リハーサルなしに段階隔離分類器を効果的に統合できるか。また、全段階にわたり公平性を維持できるか。
• RQ2 異なるデータ分布で学習された分類器の信頼度スコアを、公平で耐性のあるアンサンブル推論が可能なように正規化する方法は何か。
• RQ3 エネルギーレベルの一致が、インクリメンタル学習の各段階における性能不均衡を軽減する効果に与える影響は何か。
• RQ4 本手法は、リハーサルベースおよびリハーサルフリーな既存手法と比較して、精度と忘却の観点でどのように差をつけるか。
• RQ5 本フレームワークは、アーキテクチャ的制約なしに、異なるネットワークアーキテクチャおよび下流タスクに一般化可能か。

主な発見

• ESNは、Split CIFAR-100で86.34%の新記録となるFAAを達成し、先行手法を大きく上回った。
• アブレーションスタディの結果、エネルギー自己正規化を削除するとFAAが6.13ポイント低下し、公平な統合におけるその重要性が裏付けられた。
• 投票に基づく温度キャリブレーションは、固定温度ベースラインよりも0.61%の性能向上を示し、信頼度キャリブレーションにおける有効性を実証した。
• クラスアテンションブロックによるパラメータ隔離は不可欠である。CABをタスク間で共有すると、隔離設計と比較してFAAが2.4%低下した。
• 本手法はハイパーパramータの選択に対して頑健である。エネルギーのアンカーΔを-15から0に変更しても、FAAの変動はわずか±0.38%にとどまった。
• 異なるアーキテクチャの比較において、CABを用いたESNは、性能（86.34% FAA）とパラメータ効率（相対増加3.4%）のバランスが最も優れており、VPTやDER手法に比べて低いパラメータ拡張率でも優れた性能を示した。