[論文レビュー] Incremental Learning In Online Scenario

Jiangpeng He, Runyu Mao+2 more|arXiv (Cornell University)|Mar 30, 2020

Data Stream Mining Techniques参考文献 32被引用数 10

ひとこと要約

本論文は、二段階学習手法と動的エクジンプラセット更新を組み合わせた修正されたクロスディスティルレーション損失を導入することで、継続的忘却とコンセプトドリフトの両方を同時に解決するオンラインインクリメンタル学習フレームワークを提案する。CIFAR-100およびImageNet-1000において、オンライン学習条件下で最先端の性能を達成し、オフライン手法を上回り、リアルタイム環境下で新規クラスと旧クラスの新たな観測を同時に処理できる。

ABSTRACT

Modern deep learning approaches have achieved great success in many vision applications by training a model using all available task-specific data. However, there are two major obstacles making it challenging to implement for real life applications: (1) Learning new classes makes the trained model quickly forget old classes knowledge, which is referred to as catastrophic forgetting. (2) As new observations of old classes come sequentially over time, the distribution may change in unforeseen way, making the performance degrade dramatically on future data, which is referred to as concept drift. Current state-of-the-art incremental learning methods require a long time to train the model whenever new classes are added and none of them takes into consideration the new observations of old classes. In this paper, we propose an incremental learning framework that can work in the challenging online learning scenario and handle both new classes data and new observations of old classes. We address problem (1) in online mode by introducing a modified cross-distillation loss together with a two-step learning technique. Our method outperforms the results obtained from current state-of-the-art offline incremental learning methods on the CIFAR-100 and ImageNet-1000 (ILSVRC 2012) datasets under the same experiment protocol but in online scenario. We also provide a simple yet effective method to mitigate problem (2) by updating exemplar set using the feature of each new observation of old classes and demonstrate a real life application of online food image classification based on our complete framework using the Food-101 dataset.

研究の動機と目的

• オンラインインクリメンタル学習において、旧クラスの知識を保持しつつ新規クラスを学習する必要がある状況での継続的忘却を解消すること。
• 旧クラスの新たな観測の特徴を用いて、動的エクジンプラセット更新によりコンセプトドリフトを緩和すること。
• 制限された計算リソースとストリーミングデータを扱うリアルワールドの画像分類システムにおける生涯学習を可能にすること。
• オンラインで逐次処理されるデータ環境下でも、新規クラスと旧クラスの両方で優れた性能を発揮するフレームワークの開発。
• Food-101データセットを用いたリアルワールドの食品画像分類システムを通じて、実用的応用の有効性を示すこと。

提案手法

• オンライン学習中に現在のモデルと過去のモデルの予測間の知識蒸留を強化するため、修正されたクロスディスティルレーション損失を導入する。
• 二段階学習手法を採用：第一段階では、入力データから特徴エンコーダーを用いて表現知識を学習する。第二段階では、旧クラスの性能を維持するために知識蒸留を適用する。
• すべての観測データ（新規観測を含む）を用いて、各旧クラスのクラス平均特徴を計算することで、各旧クラスのエクジンプラセットを動的に更新する。
• オンライン更新時の表現学習を向上させるために、最適なブロックサイズ（p=16）を用いたブロック単位の特徴集約戦略を採用する。
• インクリメンタル学習中に新旧クラスの性能をバランスさせるために、適応率（β=0.5）を適用する。
• ベースライン手法と表現学習手法を統合し、データの可用性に応じて自動的に切り替えながら、オンライン精度を最大化する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、ストリーミングデータ環境下で、継続的に新規クラスを学習しつつ、以前に学習したクラスの高い性能を維持できるか？
• RQ2 旧クラスデータにおける予期しない分布シフト（コンセプトドリフト）は、オンライン学習中に効果的に緩和できるか？
• RQ3 統合されたフレームワークは、単一のオンライン学習パイプラインで新規クラスと旧クラスの新たな観測の両方を処理できるか？
• RQ4 二段階学習を組み合わせた修正されたクロスディスティルレーション損失は、既存のオフラインインクリメンタル学習手法をオンライン環境下で上回るか？
• RQ5 動的エクジンプラセット更新は、将来的なデータストリームにおける長期的性能向上にどの程度寄与するか？

主な発見

• 提案手法は、Food-101データセットにおいて、すべてのインクリメンタル学習段階で最高のオンライン精度を達成し、ベースライン手法および表現学習手法を上回った。
• CIFAR-100およびImageNet-1000において、同じベンチマークプロトコル下で、より制限の厳しいオンライン環境下にあっても、最先端の性能を達成した。
• 修正されたクロスディスティルレーション損失は、エクジンプラセットの更新なしでも、標準的なクロスエントロピー損失および標準的なクロスディスティルレーション損失を上回り、すべてのインクリメンタルステップで優れた性能を示した。
• 動的エクジンプラセット更新は、時間経過に伴いデータ分布が変化する中で、旧クラスのオンライン精度に顕著な向上をもたらした。
• 表現学習とベースライン適応の組み合わせは、個別に使用する場合よりも高い全体的なオンライン精度を達成し、特にデータが乏しい初期段階で顕著であった。
• ベースライン手法と比較して、テスト精度が著しく向上した一方で、生涯学習環境下でも新旧両方のクラスで強固な性能を維持した。