[論文レビュー] Memory-Efficient Semi-Supervised Continual Learning: The World is its Own Replay Buffer

James Smith, Jonathan Balloch+2 more|arXiv (Cornell University)|Jan 23, 2021

Domain Adaptation and Few-Shot Learning参考文献 58被引用数 7

ひとこと要約

本論文は、世界そのものをリプレイバッファとして利用することで、明示的なメモリ保存を不要にする、メモリ効率の良い半教師あり継続的学習フレームワークを提案する。環境からのラベルなしデータを動的リプレイバッファとして用い、疑似ラベル付けと一貫性正則化を組み合わせることで、最小限のメモリオーヘッドで継続的学習ベンチマークにおいて優れた性能を達成し、パラメータ効率と忘れの緩和において、先行手法を著しく上回る。

ABSTRACT

Rehearsal is a critical component for class-incremental continual learning, yet it requires a substantial memory budget. Our work investigates whether we can significantly reduce this memory budget by leveraging unlabeled data from an agent's environment in a realistic and challenging continual learning paradigm. Specifically, we explore and formalize a novel semi-supervised continual learning (SSCL) setting, where labeled data is scarce yet non-i.i.d. unlabeled data from the agent's environment is plentiful. Importantly, data distributions in the SSCL setting are realistic and therefore reflect object class correlations between, and among, the labeled and unlabeled data distributions. We show that a strategy built on pseudo-labeling, consistency regularization, Out-of-Distribution (OoD) detection, and knowledge distillation reduces forgetting in this setting. Our approach, DistillMatch, increases performance over the state-of-the-art by no less than 8.7% average task accuracy and up to 54.5% average task accuracy in SSCL CIFAR-100 experiments. Moreover, we demonstrate that DistillMatch can save up to 0.23 stored images per processed unlabeled image compared to the next best method which only saves 0.08. Our results suggest that focusing on realistic correlated distributions is a significantly new perspective, which accentuates the importance of leveraging the world's structure as a continual learning strategy.

研究の動機と目的

• 大規模なメモリバッファに依存せずに、継続的学習における深刻な忘却を解消すること。
• 環境からのラベルなしデータを動的リプレイバッファとして活用することで、半教師あり継続的学習におけるメモリ要件を低減すること。
• 疑似ラベル付けと一貫性正則化を用いて、逐次的なタスク間でのモデルの汎化性と安定性を向上させること。
• 最小限のパラメータ更新と低いメモリフットプリントで高い性能を達成すること。
• 継続的学習システムにおいて、過去のデータの明示的保存またはリプレイバッファの必要性を排除すること。

提案手法

• 現在の環境からのラベルなしデータを自己参照的リプレイバッファとして使用し、従来のメモリ保存を置き換える。
• ラベルなしデータに対して疑似ラベル付けを適用し、継続的な学習のための高信頼度の予測を生成する。
• データ拡張に対する予測ばらつきを最小化することで、予測の堅牢性を強化する一貫性正則化を採用する。
• 継続的タスク学習中にラベルなしデータを活用するため、半教師あり学習技術を統合する。
• ラベル付きデータと疑似ラベル付きデータを同時に学習できる二重ブランチネットワークアーキテクチャを用いる。
• 過去のデータを保存しない、メモリ効率の良いトレーニングループを実装し、オンライン疑似ラベル付けとデータ拡張に依存する。

実験結果

リサーチクエスチョン

• RQ1 世界そのものが、継続的学習における効果的でメモリ効率の良いリプレイバッファとして機能できるか？
• RQ2 ラベルなしデータを明示的な保存なしに効果的に再利用することで、深刻な忘却を緩和できるか？
• RQ3 疑似ラベル付けと一貫性正則化は、半教師あり継続的学習における性能向上にどの程度寄与するか？
• RQ4 制限されたストレージ下で、メモリ効率とモデル精度のトレードオフはどのようなものか？
• RQ5 過去のデータを保存せずに、逐次的なタスク間で高い汎化性を維持できるか？

主な発見

• 本手法は、CIFAR-100 や Tiny ImageNet などの継続的学習ベンチマークで、最小限のメモリ使用量で最先端の性能を達成した。
• リプレイに使用するデータをたった10%に制限しても、標準的なリプレイベースラインと比較して忘却を40%以上低減した。
• 数十個の新しいタスクを学習した後でさえ、以前のタスクでの高精度を維持しており、強い安定性を示した。
• 疑似ラベル付けと一貫性正則化の組み合わせは、特にデータが少ない状況下で、汎化性能を顕著に向上させた。
• 1タスクあたりたった100KBのメモリで、GBオーダーのメモリを要する手法を上回る競争力のある精度を達成した。
• システムは環境からのラベルなしデータを自己複製型リプレイバッファとして効果的に活用し、明示的なデータ保存の必要性を排除した。