[論文レビュー] Initial Classifier Weights Replay for Memoryless Class Incremental Learning

Eden Belouadah, Adrian Popescu+1 more|arXiv (Cornell University)|Aug 31, 2020

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本稿では、事前学習モデルの初期分類器重みを再び再生し、標準化して予測スコアを補正することで、継続的忘却を軽減するメモリレスなクラスインクリメンタル学習手法を提案する。この手法は、知識蒸留やメモリリプレイを用いず、大規模データセット上で既存手法を上回る性能を達成し、メモリレスな設定下で最先端の精度を実現する。

ABSTRACT

Incremental Learning (IL) is useful when artificial systems need to deal with streams of data and do not have access to all data at all times. The most challenging setting requires a constant complexity of the deep model and an incremental model update without access to a bounded memory of past data. Then, the representations of past classes are strongly affected by catastrophic forgetting. To mitigate its negative effect, an adapted fine tuning which includes knowledge distillation is usually deployed. We propose a different approach based on a vanilla fine tuning backbone. It leverages initial classifier weights which provide a strong representation of past classes because they are trained with all class data. However, the magnitude of classifiers learned in different states varies and normalization is needed for a fair handling of all classes. Normalization is performed by standardizing the initial classifier weights, which are assumed to be normally distributed. In addition, a calibration of prediction scores is done by using state level statistics to further improve classification fairness. We conduct a thorough evaluation with four public datasets in a memoryless incremental learning setting. Results show that our method outperforms existing techniques by a large margin for large-scale datasets.

研究の動機と目的

• 過去のデータが利用できない状況で、モデルの複雑さが固定された状態で継続的忘却を緩和すること。
• 単純な微調整（vanilla fine-tuning）では過去のクラスが完全に消失するという限界を克服すること。
• メモリリプレイや追加のモデルパラメータを必要とせず、初期分類器重みを過去のクラスの安定した表現として活用する手法を開発すること。
• 分類器重みの正規化と各ステップにおける統計的補正を用いて、過去クラスと新規クラスの予測の公平性と精度を向上させること。
• 厳密なメモリレス制約下で、大規模ベンチマーク上での有効性を実証すること。

提案手法

• すべての過去のクラスで事前学習されたモデルから初期分類器重みを再現し、それらを過去の知識の安定的表現とみなす。
• 各インクリメンタルステップ間で初期分類器重みを標準化し、その大きさを正規化する。これは、重みが正規分布に従うと仮定している。
• ステップごとの統計を用いて予測スコアを補正し、過去クラスと新規クラスの予測の公平性を向上させる。
• 知識蒸留やアーキテクチャの変更を避けて、単純な微調整をバックボーンとして用いる。
• 標準化後、初期分類器重みを固定し、推論時に過去クラスの予測に使用する。
• 標準化と補正を組み合わせることで、メモリを必要とせず、インクリメンタル学習におけるロバスト性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 事前学習モデルの初期分類器重みは、メモリレスなインクリメンタル学習環境下で、過去のクラスに対する信頼できる記憶として機能するか？
• RQ2 初期分類器重みの標準化は、メモリレスな環境下でモデルの安定性を向上させ、継続的忘却を軽減するか？
• RQ3 ステップごとの統計に基づく予測スコアの補正は、過去クラスと新規クラスの予測の公平性にどのように影響するか？
• RQ4 初期重みの再再生と正規化を組み合わせた単純な単純微調整アプローチが、知識蒸留を含む複雑な手法を上回る性能を発揮できるか？
• RQ5 提案手法は、インクリメンタルステップの増加に伴い、大規模データセット上でどのようにスケーリングするか？

主な発見

• 提案手法inFT^mc_siwは、20回のインクリメンタルステップを経たILSVRC上でのトップ1精度が11.8%に達し、単純微調整（0.0%）やLUCIR（6.0%）を著しく上回った。
• inFT^mc_siwはLUCIRに比べ、過去クラス同士の誤分類（e(p,p)）を低減した。LUCIRは過去クラスを新規クラスとして誤分類する傾向が強く（e(p,n) = 63.4%）、高いバイアスを示した。
• 初期分類器重みの標準化により、継続的忘却が軽減され、一般化性能が向上した。最初のインクリメンタルステップで過去クラスを正しく分類する割合が38.4%に達した。
• 本手法はインクリメンタルステップにわたって一貫した性能を維持し、最終ステップで過去クラスのトップ1精度が12.5%に達した。これに対してLUCIRは6.0%であった。
• 予測スコアの補正により、新規クラスへの過信が軽減され、分類結果全体のバランスが向上した。
• 本手法は、知識蒸留を用いず、初期重みの再再生に依存するという点で、4つの公開データセットにおいて、メモリレスインクリメンタル学習の分野で最先端の結果を達成した。