[論文レビュー] Continual Semi-Supervised Learning through Contrastive Interpolation Consistency

Matteo Boschini, Pietro Buzzega+3 more|arXiv (Cornell University)|Aug 14, 2021

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 32

ひとこと要約

本論文は、再現と対照的一致正則化を組み合わせることで、無監督データを活用する、継続的半教師あり学習（CSSL）のための新規手法である対照的一致性継続的補間（CCIC）を提案する。驚くべきことに、CCICは25%のラベルデータのみを用いても、SOTAの完全教師あり手法を上回る性能を達成しており、限られた監督情報に効果的な半教師あり正則化を組み合わせることで、継続的学習の文脈において完全監督よりも優れた結果が得られることを示している。

ABSTRACT

Continual Learning (CL) investigates how to train Deep Networks on a stream of tasks without incurring forgetting. CL settings proposed in literature assume that every incoming example is paired with ground-truth annotations. However, this clashes with many real-world applications: gathering labeled data, which is in itself tedious and expensive, becomes infeasible when data flow as a stream. This work explores Continual Semi-Supervised Learning (CSSL): here, only a small fraction of labeled input examples are shown to the learner. We assess how current CL methods (e.g.: EWC, LwF, iCaRL, ER, GDumb, DER) perform in this novel and challenging scenario, where overfitting entangles forgetting. Subsequently, we design a novel CSSL method that exploits metric learning and consistency regularization to leverage unlabeled examples while learning. We show that our proposal exhibits higher resilience to diminishing supervision and, even more surprisingly, relying only on 25% supervision suffices to outperform SOTA methods trained under full supervision.

研究の動機と目的

• ラベル付きデータの割合が非常に少ない状況下で、継続的学習における深刻な忘却問題に対処すること。
• 継続的学習における低監督環境下で、半教師あり学習技術が性能向上に有効に機能するかを検討すること。
• 段階的なタスク学習の過程で、教師あり学習と教師なし学習を統合的に、エンド・ツー・エンドの形で統合する新しい手法を設計すること。
• 適切な一貫性正則化を組み合わせた場合、限られたラベル情報が完全監督よりも効果的であることを実証すること。

提案手法

• CCICは、経験再現と対照的一致性正則化を組み合わせており、メモリバッファを用いて過去のサンプルを保存する。
• 同一入力の増強された視点間の一貫性を対照的損失によって強制することで、頑健な特徴学習を促進する。
• 補間的一致性を導入し、ラベル付きとラベルなしの例間の補間された表現が特徴空間で近くなるように正則化する。
• 過去のタスクからのネガティブサンプルを、タスク間マイニングによって選別し、それらの特徴を現在のサンプルから遠ざける。
• 時間的一致性ベースラインとして、モデル重みの指数移動平均を組み込むが、他のコンポONENTより性能が劣る。
• 教師ありクロスエントロピー損失、対照的損失、補間的一致性損失の組み合わせにより、エンド・ツー・エンドでフレームワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 低監督環境下で、半教師あり学習技術が継続的学習の性能を向上させることができるか？
• RQ2 ラベル付きとラベルなしデータを交互に扱う統合的な訓練スキームは、分離した訓練フェーズよりも優れた性能を発揮するか？
• RQ3 対照的学習による一貫性正則化は、限られたラベル付きデータを用いた継続的学習における忘却を緩和できるか？
• RQ4 25%の監督情報でさえ、完全監督で訓練されたSOTA手法を上回ることができるか？
• RQ5 ネガティブマイニング戦略の選択が、CSSL設定における性能に与える影響は何か？

主な発見

• CCICは、CIFAR-100で25%のラベルと5120のバッファサイズを用いた場合、平均84.7%の精度を達成し、SOTAの完全教師あり手法を上回った。
• 0.8%のラベルのみでCCICはCIFAR-100で55.2%の精度を維持した一方、ERは25.9%まで低下し、ラベル不足に対する優れた耐性を示した。
• SVHNでは、バッファサイズ5120で25%の監督情報のもと、CCICが84.7%の精度を達成し、SOTAの完全教師あり結果を上回った。
• CCICでは、25%から0.8%へのラベル減少に伴う性能低下は平均で26%にとどまるが、ERでは47%にまで上昇するため、CCICは監督情報の減少に対してより強い耐性を示した。
• タスクに依存しないおよびタスク内マイニング戦略は、タスク間マイニングに比べて性能が劣り、タスクに配慮したネガティブサンプル選択の重要性を裏付けた。
• 指数移動平均を用いた一貫性正則化は、他のすべてのコンponentsより性能が劣り、継続的学習の文脈ではあまり効果的でないことが示された。