[論文レビュー] End-to-End Incremental Learning

Francisco M. Castro, Manuel J. Marín‐Jiménez+3 more|arXiv (Cornell University)|Jul 25, 2018

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 34

ひとこと要約

この論文は、交差エントロピー損失と知識蒸留損失を組み合わせることで、災難的忘却を軽減するエンド・ツー・エンドのインクリメンタル学習フレームワークを提案する。新しいデータと古いクラスの代表的サンプルから成る小さなエキジンプルセットを用いて訓練することで、CIFAR-100およびImageNetで最先端の精度を達成し、以前に学習したクラスの性能低下を最小限に抑える。

ABSTRACT

Although deep learning approaches have stood out in recent years due to their state-of-the-art results, they continue to suffer from catastrophic forgetting, a dramatic decrease in overall performance when training with new classes added incrementally. This is due to current neural network architectures requiring the entire dataset, consisting of all the samples from the old as well as the new classes, to update the model -a requirement that becomes easily unsustainable as the number of classes grows. We address this issue with our approach to learn deep neural networks incrementally, using new data and only a small exemplar set corresponding to samples from the old classes. This is based on a loss composed of a distillation measure to retain the knowledge acquired from the old classes, and a cross-entropy loss to learn the new classes. Our incremental training is achieved while keeping the entire framework end-to-end, i.e., learning the data representation and the classifier jointly, unlike recent methods with no such guarantees. We evaluate our method extensively on the CIFAR-100 and ImageNet (ILSVRC 2012) image classification datasets, and show state-of-the-art performance.

研究の動機と目的

• 新しいデータの学習時に以前に学習したクラスを忘れるという、深層学習におけるインクリメンタルクラス学習における災難的忘却を解消すること。
• 特徴表現と分類器が同時に最適化されるエンド・ツー・エンドの深層ネットワーク訓練を可能にし、従来の手法とは異なり、これらのタスクを分離するのではなく統合すること。
• クラス数の増加に伴っても、固定されたパラメータ数と低メモリ使用量を維持しながらモデルの性能を保つこと。
• すべてのデータを再学習しなくても、時間の経過とともに新しいクラスを学習できる、スケーラブルで実用的な、実世界の視覚認識システムのためのアプローチを開発すること。
• 完全な再学習や外部分類器に依存せずに、インクリメンタル画像分類ベンチマークで最先端の性能を達成すること。

提案手法

• 深層ニューラルネットワークにおける標準的な交差エントロピー損失を、新しいクラス向けの交差エントロピーと、古いクラスの予測を保存するための知識蒸留を組み合わせたハイブリッド損失に置き換える。
• 以前に学習したクラスの代表的サンプルを含む、固定サイズの小さなエキジンプルセットを用いて、インクリメンタル学習中に古いクラスの知識を維持する。
• 小さなエキジンプルセットでの過学習を軽減し一般化性能を向上させるために、訓練中にデータ拡張（例：ランダムクロップ、反転）を適用する。
• インクリメンタルステップにおける古いクラスと新しいクラスのクラス不均衡を是正するため、バランスの取れたファインチューニングを適用し、古いクラスの性能を向上させる。
• 任意の深層学習アーキテクチャを、元の損失関数を提案されたインクリメンタル損失に置き換えることで、インクリメンタル学習フレームワークに適応可能にする。
• 事前学習や別段階の適応処理を経ない、完全にエンド・ツー・エンドの方法でモデルを訓練し、特徴表現と分類器重みを同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 新しいクラスに対して段階的に学習させながら、以前に学習したクラスの高精度を維持できるか、災難的忘却を回避できるか？
• RQ2 知識蒸留と交差エントロピー損失の組み合わせは、性能の維持において従来の手法と比較してどのように優れているか？
• RQ3 エキジンプルセットのサイズとサンプル選択戦略が、長期的なインクリメンタル学習性能に与える影響は何か？
• RQ4 特徴と分類器のエンド・ツー・エンドの共同最適化は、表現学習と分類を分離する手法よりも優れた性能を発揮するか？
• RQ5 提案手法は、大きなインクリメンタルステップを伴う大規模ベンチマーク（例：ImageNet）でも最先端の結果を達成できるか？

主な発見

• CIFAR-100において5クラスのインクリメンタルステップを実施した場合、トップ5精度が59.2%に達し、先行手法を上回り、新たな最先端を樹立した。
• CIFAR-100で20クラスのインクリメンタルステップを実施した場合、平均精度が53.8%に達し、iCaRLや他のベースラインと比べて顕著に優れた性能を示した。
• ImageNetで100クラスのインクリメンタルステップを実施した場合、平均精度が前回の最先端手法と比較して5%以上向上した。
• アブレーションスタディの結果、データ拡張とバランスの取れたファインチューニングの両方が、特に大きなインクリメンタルステップにおいて性能に重要であることが確認された。
• データ拡張とバランスの取れたファインチューニングの両方を備えたフルモデル（‘Our-CNN-Full’）が、すべての設定で最良の結果を達成し、フルフレームワークの有効性を示した。
• 本手法は、インクリメンタル学習の全過程において固定されたモデルサイズとパラメータ数を維持しており、真のインクリメンタルシステムの要件を満たしている。