[論文レビュー] Class-incremental learning: survey and performance evaluation

Marc Masana, Xialei Liu+4 more|arXiv (Cornell University)|Oct 28, 2020

Domain Adaptation and Few-Shot Learning被引用数 67

ひとこと要約

本論文は、12種類のクラスインクリメンタル学習手法について包括的なサーベイと厳密な評価を提供し、複数の大規模データセット、ネットワークアーキテクチャ、ドメインシフトのシナリオにおいてその性能を評価している。危険な忘れやすさ（catastrophic forgetting）の主要な課題を特定し、現実的な条件下での手法のロバストネスに関する実証的知見を提示している。

ABSTRACT

For future learning systems incremental learning is desirable, because it allows for: efficient resource usage by eliminating the need to retrain from scratch at the arrival of new data; reduced memory usage by preventing or limiting the amount of data required to be stored -- also important when privacy limitations are imposed; and learning that more closely resembles human learning. The main challenge for incremental learning is catastrophic forgetting, which refers to the precipitous drop in performance on previously learned tasks after learning a new one. Incremental learning of deep neural networks has seen explosive growth in recent years. Initial work focused on task incremental learning, where a task-ID is provided at inference time. Recently we have seen a shift towards class-incremental learning where the learner must classify at inference time between all classes seen in previous tasks without recourse to a task-ID. In this paper, we provide a complete survey of existing methods for incremental learning, and in particular we perform an extensive experimental evaluation on twelve class-incremental methods. We consider several new experimental scenarios, including a comparison of class-incremental methods on multiple large-scale datasets, investigation into small and large domain shifts, and comparison on various network architectures.

研究の動機と目的

• 既存のクラスインクリメンタル学習手法について完全なサーベイを提供すること。
• 多様な実験条件下で12の最先端クラスインクリメンタル学習手法の性能を評価すること。
• 小規模および大規模なドメインシフトがモデルの一般化性能に与える影響を調査すること。
• 複数の大規模データセットおよびディープニューラルネットワークアーキテクチャ across で手法の性能を比較すること。
• 標準化された評価プロトコルを確立することで、今後の研究のベンチマークを提供すること。

提案手法

• 本研究は、複数のデータセットおよびネットワークアーキテクチャを対象に、標準化された実験プロトコルを用いて12種類のクラスインクリメンタル学習手法を評価している。
• ロバストネスを評価するために、小規模および大規模なドメインシフトの両方の条件下で実験が実施されている。
• 訓練および推論時にタスクIDにアクセスできない状況を想定し、実世界の展開を模倣している。
• 各インクリメンタルステップの後、これまでに学習済みのすべてのクラスにおける正確性（accuracy）を測定することで性能を評価している。
• ResNet やビジョントランスフォーマーなどの異なるバックボーンアーキテクチャ間での手法の比較が分析に含まれている。
• アーキテクチャ選択やデータ分布のシフトの影響を分離するために、包括的なアブレーションスタディが実施されている。

実験結果

リサーチクエスチョン

• RQ1 クラスインクリメンタル学習手法は、異なる大規模データセットでどのように性能を示すか？
• RQ2 小規模なドメインシフトと大規模なドメインシフトの両方が、手法の性能にどのような影響を与えるか？
• RQ3 異なるネットワークアーキテクチャは、クラスインクリメンタル学習手法のロバストネスにどのように影響を与えるか？
• RQ4 どの手法の構成要素が危険な忘れやすさの軽減に最も寄与しているか？
• RQ5 現在の手法は、増加するインクリメンタルクラス数にどのようにスケーリングするか？

主な発見

• クラスインクリメンタル学習手法は、大規模なドメインシフト下で顕著な性能低下を示しており、トップの手法でも正確性が最大20%低下している。
• 特徴量の distillation と経験再利用（experience replay）を組み込む手法は、それらを組み込まない手法に比べて一貫して優れた性能を示しており、特に大規模データセットでは顕著である。
• ビジョントランスフォーマーをベースとするモデルは、ResNetをベースとするモデルに比べてドメインシフトに対してより高いロバストネスを示している。
• バックボーンアーキテクチャの選択は性能に顕著な影響を与え、より深いモデルはインクリメンタル学習下でもより優れた一般化性能を示している。
• すべてのデータセットおよびシフト条件において、1つの手法が他のすべての手法を常に上回るとは限らず、手法固有のチューニングの必要性が示唆されている。
• 本研究では、タスクインクリメンタル設定とクラスインクリメンタル設定との間で性能格差が確認され、後者の難易度の高さが浮き彫りになった。