[論文レビュー] Incremental Learning with Maximum Entropy Regularization: Rethinking Forgetting and Intransigence

Dahyun Kim, Ji-Hwan Bae+2 more|arXiv (Cornell University)|Feb 3, 2019

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 11

ひとこと要約

本論文は、過剰適合を抑えるために最大エントロピー正則化（MER）を用い、不確実な知識への過剰適合を回避するとともに、クラス不均衡の緩和と自己-pacedなカリキュラムの誘導のためにドロップアウトサンプリング（DOS）を用いる、新しいインクリメンタル学習手法MEDICを提案する。MEDICは、CIFAR100およびTinyImageNetにおいて、SOTAを上回る5%以上の精度向上を達成し、多様なタスク設定やメモリ予算において、忘却と不器用性の指標において顕著な改善を示す。

ABSTRACT

Incremental learning suffers from two challenging problems; forgetting of old knowledge and intransigence on learning new knowledge. Prediction by the model incrementally learned with a subset of the dataset are thus uncertain and the uncertainty accumulates through the tasks by knowledge transfer. To prevent overfitting to the uncertain knowledge, we propose to penalize confident fitting to the uncertain knowledge by the Maximum Entropy Regularizer (MER). Additionally, to reduce class imbalance and induce a self-paced curriculum on new classes, we exclude a few samples from the new classes in every mini-batch, which we call DropOut Sampling (DOS). We further rethink evaluation metrics for forgetting and intransigence in incremental learning by tracking each sample's confusion at the transition of a task since the existing metrics that compute the difference in accuracy are often misleading. We show that the proposed method, named 'MEDIC', outperforms the state-of-the-art incremental learning algorithms in accuracy, forgetting, and intransigence measured by both the existing and the proposed metrics by a large margin in extensive empirical validations on CIFAR100 and a popular subset of ImageNet dataset (TinyImageNet).

研究の動機と目的

• インクリメンタル学習における崩壊的忘却と不器用性を解決すること。これは、モデルが古い知識を忘却し、新しいクラスを学習するのを困難にする要因である。
• 以前のタスクから転送された不確実な知識への過信なフィッティングを罰則することで、モデルのロバスト性を向上させること。
• 自己-pacedなサンプリング戦略を通じて、クラス不均衡の低減と新しいクラスの学習効率の向上を図ること。
• 単なる正答率の差異を越えて、相対的意義とサンプルレベルの混乱動態を捉える、より洗練された評価指標を提案すること。
• 極端なタスク順序（最良順 vs. 最悪順）と制限されたメモリ予算下での検証を通じて、一般化性能と安定性を示すこと。

提案手法

• 不確実な知識への過信な予測を罰則することで、過去のタスクからの不確実な知識への過剰適合を回避するため、最大エントロピー正則化（MER）を導入する。
• 各ミニバッチ学習ステップにおいて、新しいクラスの一部のサンプルを一時的に除外することで、クラス不均衡の緩和と自己-pacedな学習カリキュラムの誘導を図る、ドロップアウトサンプリング（DOS）を提案する。
• 全データで訓練された参照モデルの予測結果を用いたソフトラベル distillation 損失を採用し、知識転送をガイドする一方で、MERを適用して不確実な予測への過信を抑制する。
• 個々のサンプルの混乱行動をタスク遷移時に追跡するサンプルダイナミクス（SD）指標、すなわちSDF（忘却）とSDI（不器用性）を導入し、大きさに依存しない比率ベースの性能低下の測定を可能にする。
• 特定タスクの全クラスに対して全データで訓練された参照モデルを用いてソフトラベルを計算し、サンプルレベルの混乱を追跡することで、忘却と不器用性の正確な評価を可能にする。
• MERとDOSを統合した統一フレームワークであるMEDIC（MERとDOSを用いたインクリメンタル学習）を構築し、安定性と適応性の両方を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 インクリメンタル学習において、不確実で転送された知識への過剰適合をどのように低減すれば、崩壊的忘却を緩和できるか？
• RQ2 ドロップアウトサンプリングのような自己-pacedなサンプリング戦略は、新しいクラスにおける学習効率の向上と不器用性の低減にどの程度寄与するか？
• RQ3 サンプルレベルの混乱動態を追跡する新しい評価指標は、従来の正答率差分に基づく指標よりも、忘却と不器用性のより信頼性が高く解釈可能な測定を可能にするか？
• RQ4 提案手法MEDICは、極端なタスク順序（最良順 vs. 最悪順）および制限されたメモリ予算（旧クラスのサンプル数）下でも、どの程度の性能を示すか？
• RQ5 MERとDOSの組み合わせは、多様なデータセットおよびインクリメンタル学習のシナリオにおいて、一貫した性能向上をもたらすか？

主な発見

• CIFAR100ではMEDICがトップ-1正答率49.88%を達成し、次に良い手法（EndtoEnd）を4.33ポイント上回った。
• TinyImageNetではMEDICが49.88%の正答率を達成し、EWC（43.92%）とEndtoEnd（45.55%）を大きく上回り、5%以上の差をつける結果となった。
• MEDICは忘却（F10）を4.54まで低減し、全手法中最も低く、不器用性（I10）を9.24まで低減し、優れた安定性と適応性を示した。
• 提案されたSDFおよびSDI指標は、EWCよりもベースライン手法がSDIおよびSDFで劣っているにもかかわらず、F10では優れていることを明らかにした。これは従来の指標の限界を示している。
• 旧クラスのサンプルを1,000件に制限したメモリ予算が小さい状況下でも、MEDICは最も小さな性能低下を示し、リソース制約下でのロバスト性を示した。
• アブレーションスタディの結果、MERとDOSの両方が全指標において顕著な性能向上に寄与しており、特に低予算および不確実な知識条件下ではMERの有効性が顕著に現れた。