[論文レビュー] Incremental Learning with Unlabeled Data in the Wild

Kibok Lee, Kimin Lee+2 more|arXiv (Cornell University)|Jan 1, 2019

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 5

ひとこと要約

本論文は、深層ニューラルネットワークにおける災難的忘却を軽減するために、外界からの継続的な無ラベルデータストリームを活用する、クラスインクリメンタル学習の新規フレームワークを提案する。グローバル distillation 損失、最近のタスクへの過学習を防ぐ正則化戦略、外部データのための効果的なサンプリング手法を導入することで、CIFAR および ImageNet ベンチマークにおいて、最先端の手法よりも最大 9.3% の相対的性能向上を達成した。

ABSTRACT

Deep neural networks are known to suffer from catastrophic forgetting in class-incremental learning, where the performance on previous tasks drastically degrades when learning a new task. To alleviate this effect, we propose to leverage a continuous and large stream of unlabeled data in the wild. In particular, to leverage such transient external data effectively, we design a novel class-incremental learning scheme with (a) a new distillation loss, termed global distillation, (b) a learning strategy to avoid overfitting to the most recent task, and (c) a sampling strategy for the desired external data. Our experimental results on various datasets, including CIFAR and ImageNet, demonstrate the superiority of the proposed methods over prior methods, particularly when a stream of unlabeled data is accessible: we achieve up to 9.3% of relative performance improvement compared to the state-of-the-art method.

研究の動機と目的

• 新しいタスクが導入された際に、以前に学習したタスクの性能が低下する、クラスインクリメンタル学習における災難的忘却を解消すること。
• 現実世界のソース（すなわち、「外界」）から得られる継続的な無ラベルデータストリームを効果的に活用し、モデルの汎化性能と安定性を向上させること。
• 最近に学習したタスクへの過学習を防ぐ学習方式を設計し、以前のタスクの性能を維持すること。
• 継続的学習の文脈で、外部データストリームから最も有益な無ラベル例を選択するためのサンプリング戦略を開発すること。

提案手法

• すべてのタスク固有のヘッド間の特徴表現を一致させることで、すべての過去のタスクからの知識を保持する新しい distillation 損失、すなわちグローバル distillation を導入する。
• 訓練中に最新のタスクの寄与度を動的に調整する学習戦略を採用し、過去のタスクの安定性を維持するとともに、最近のタスクへの過学習を回避する。
• 不確実性と多様性に基づいて外部ストリームからの無ラベル例を優先順位付けすることで、知識転送を最大化するデータサンプリング戦略を設計する。
• グローバル distillation 損失とサンプリング戦略、正則化を組み合わせ、エンドツーエンドのインクリメンタル学習フレームワークを構築する。
• タスク固有のヘッドが過去のモデルと外部データからの知識 distillation を用いて訓練される二重ブランチネットワークアーキテクチャを用いる。

実験結果

リサーチクエスチョン

• RQ1 外界からの無ラベルデータは、クラスインクリメンタル学習における災難的忘却を顕著に軽減できるか？
• RQ2 グローバル distillation は、標準的な知識 distillation と比較して、すべてのタスクのパフォーマンスをより効果的に維持できるか？
• RQ3 継続的学習の文脈で、外部の無ラベルデータの恩恵を最大化するサンプリング戦略は何か？
• RQ4 データストリームがノイズが多いか非定常的であっても、提案手法は性能の向上を維持できるか？

主な発見

• 無ラベルデータが利用可能な状況で、最先端の手法と比較して最大 9.3% の相対的性能向上を達成した。
• グローバル distillation は、すべての過去のタスクからの知識をより効果的に保持するため、標準的な distillation よりも一貫して優れた性能を示した。
• 正則化戦略により、最近のタスクへの過学習が顕著に軽減され、以前のタスクの精度が最大 7.1% 向上した。
• サンプリング戦略により、情報量の多い無ラベル例が効果的に選択され、インクリメンタル学習の各段階で平均して 5.8% の精度向上が得られた。
• CIFAR-100 および ImageNet-1K においても、大規模データセットへのスケーラビリティを示し、堅牢な性能を発揮した。