[論文レビュー] ACIL: Analytic Class-Incremental Learning with Absolute Memorization and Privacy Protection

Huiping Zhuang, Zhenyu Weng+4 more|arXiv (Cornell University)|May 30, 2022

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

ACILは、履歴データの保存を伴わず、過去の知識を絶対的記憶する分析的クラスインクリメンタル学習手法を提案する。これにより、データの機微性を保ちながら、結合学習の性能に匹敵する。再帰的線形学習と特徴拡張を用いて、大規模なインクリメンタルフェーズにおいても正確性を維持し、25および50フェーズ設定において最先端の手法を上回る性能を発揮する。

ABSTRACT

Class-incremental learning (CIL) learns a classification model with training data of different classes arising progressively. Existing CIL either suffers from serious accuracy loss due to catastrophic forgetting, or invades data privacy by revisiting used exemplars. Inspired by linear learning formulations, we propose an analytic class-incremental learning (ACIL) with absolute memorization of past knowledge while avoiding breaching of data privacy (i.e., without storing historical data). The absolute memorization is demonstrated in the sense that class-incremental learning using ACIL given present data would give identical results to that from its joint-learning counterpart which consumes both present and historical samples. This equality is theoretically validated. Data privacy is ensured since no historical data are involved during the learning process. Empirical validations demonstrate ACIL's competitive accuracy performance with near-identical results for various incremental task settings (e.g., 5-50 phases). This also allows ACIL to outperform the state-of-the-art methods for large-phase scenarios (e.g., 25 and 50 phases).

研究の動機と目的

• 履歴データのリプレイに依存せずに、クラスインクリメンタル学習（CIL）における崩壊的忘却を解消すること。
• インクリメンタル学習中に過去のサンプルの保存または再アクセスを排除することで、データの機微性を確保すること。
• 絶対的記憶を達成すること、すなわちACILによるインクリメンタル学習が、すべてのデータを用いた結合学習と同一の結果をもたらすこと。
• 特に25および50フェーズ設定のような挑戦的な状況において、大規模なインクリメンタルフェーズにわたり高い正確性を維持すること。
• リプレイベースおよび正則化ベースのCIL手法の代替として、理論的根拠があり、メモリ効率の良い手法を提供すること。

提案手法

• ACILは、特徴表現における線形回帰を用いて、インクリメンタル学習を再帰的分析的学習プロセスとして定式化する。
• 線形定式化におけるアンダーフィッティングを軽減するため、特徴拡張（FE）モジュールを採用する。
• ハイパーパrameter γ を用いた正則化項を適用し、訓練の安定性と一般化性能の向上を図る。
• 生データの代わりに、過去の知識を表すコンactな行列 Rk のみを保存することで、プライバシー保護を実現する。
• 再帰的更新ルールにより、各フェーズ後のモデルパラメータが、その時点までのすべてのデータを用いた結合学習で得られるパラメータと等価であることを保証する。
• このアプローチは、理論的に絶対的記憶を達成することが証明されており、過去のクラスに対するモデル出力が結合学習と同一であることを意味する。

実験結果

リサーチクエスチョン

• RQ1 履歴データの保存を伴わず、過去の知識を絶対的記憶できるクラスインクリメンタル学習手法は実現可能か？
• RQ2 このような手法は、大規模なインクリメンタルフェーズ（例：25または50）にわたり、性能の劣化を伴わずに高い正確性を維持できるか？
• RQ3 過去データへのアクセスや保存を一切行わないことで、データの機微性を確保できるか？
• RQ4 提案された分析的学習定式化は、既存のリプレイベースおよび正則化ベースのCIL手法と比較して、正確性および安定性の面で優れているか？
• RQ5 特徴拡張および正則化の影響は、モデルの性能および耐性にどのような影響を及えるか？

主な発見

• ACILは、すべてのインクリメンタルフェーズにおいて、結合学習とほぼ同一の正確性を達成し、絶対的記憶を示している。
• ImageNet-Fullを用いた50フェーズCILでは、ACILは平均65.95%の正確性を達成し、最先端の手法を上回っている。
• CIFAR-100を用いた25フェーズCILでは、ACILは65.95%の正確性を達成し、SOTAを大きく上回っている。
• 50フェーズImageNet-FullにおけるACILの忘却率は2.75%にとどまり、LUCIR+Mnemonicsの13.63%と比較して、優れた安定性を示している。
• アブレーションスタディにより、特徴拡張および正則化が不可欠であることが確認され、それらを除去すると正確性が66.30%から52.99%に低下する。
• ACILは、知識の保存にたった6400万パラメータ（8k×8k行列）を用いるため、ImageNetのような大規模データセットに対してもメモリ効率が非常に高い。