[論文レビュー] ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning

Liyuan Wang, Kuo Yang+4 more|arXiv (Cornell University)|Jan 2, 2021

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

ORDisCoは、分類器と条件付きGANを同時に学習することで、増分的な未ラベルデータを効果的かつ効率的に活用する、半教師あり継続的学習（SSCL）のための新規フレームワークを提案する。オンラインリプレイとディスクライマーパラメータの一貫性正則化を用いることで、未ラベルデータのための災難的忘却を軽減し、SVHN、CIFAR10、Tiny-ImageNetで最先端の性能を達成し、強力なベースラインと比較して顕著な精度向上を実現した。

ABSTRACT

Continual learning usually assumes the incoming data are fully labeled, which might not be applicable in real applications. In this work, we consider semi-supervised continual learning (SSCL) that incrementally learns from partially labeled data. Observing that existing continual learning methods lack the ability to continually exploit the unlabeled data, we propose deep Online Replay with Discriminator Consistency (ORDisCo) to interdependently learn a classifier with a conditional generative adversarial network (GAN), which continually passes the learned data distribution to the classifier. In particular, ORDisCo replays data sampled from the conditional generator to the classifier in an online manner, exploiting unlabeled data in a time- and storage-efficient way. Further, to explicitly overcome the catastrophic forgetting of unlabeled data, we selectively stabilize parameters of the discriminator that are important for discriminating the pairs of old unlabeled data and their pseudo-labels predicted by the classifier. We extensively evaluate ORDisCo on various semi-supervised learning benchmark datasets for SSCL, and show that ORDisCo achieves significant performance improvement on SVHN, CIFAR10 and Tiny-ImageNet, compared to strong baselines.

研究の動機と目的

• 部分的にラベル付けされた増分的なデータにおいて、未ラベルデータの災難的忘却という課題に対処すること。
• 最小限のストレージと計算コストで、大規模な未ラベルデータを継続的学習環境で効果的かつ効率的に活用する手法を開発すること。
• 分類器と条件付きGANを共同で学習させることで、SSCLにおける分類精度と条件付き画像生成品質の両方を向上させること。
• 古い未ラベルデータとその仮ラベルの知識を保持するために、重要なディスクライマーのパラメータを効果的に安定化するメカニズムを導入すること。

提案手法

• ORDisCoは、分類器と条件付きGANの間でミニマックスの敵対的ゲームとして学習プロセスを定式化し、分類と生成の両方を同時に最適化可能にする。
• 条件付き生成器からサンプリングされたデータのオンラインリプレイを用いることで、未ラベルデータの時間的・ストレージ効率の良い活用が可能になる。
• 古い未ラベルデータとその仮ラベル予測を区別する上で重要なパラメータの安定化を図るため、ディスクライマー一貫性正則化を導入する。
• フレームワークは、新しいインスタンスと新しいクラスの両方のシナリオに適用され、部分的なラベル付けを伴う現実的な増分学習を模擬する。
• 分類器が未ラベルデータの仮ラベルを提供することで、条件付きGANの訓練を向上させる、共同学習戦略を採用する。
• 分類と条件付き生成の両方の分野で幅広く使用可能な、プラグアンドプレイ型のソリューションとして設計されている。

実験結果

リサーチクエスチョン

• RQ1 増分的な未ラベルデータは、災難的忘却を引き起こさずに、半教師あり継続的学習で効果的に活用可能か？
• RQ2 生成されたサンプルのオンラインリプレイは、SSCLにおける分類性能と生成性能をどのように向上させるか？
• RQ3 ディスクライマーの一貫性は、古い未ラベルデータとその仮ラベルの知識を保持するために果たす役割は何か？
• RQ4 ORDisCoは、SMB、SMB+UMB、SMB+UMB+UCといった強力なベースラインと比較して、さまざまなデータセットにおいて精度と耐性に優れているか？
• RQ5 部分的にラベル付けされたデータから増分的に学習する際、ORDisCoは高品質な条件付き画像生成を維持できるか？

主な発見

• ORDisCoは、半教師あり設定下でSVHNで94.38%、CIFAR10で87.37%のテスト精度を達成し、既存のCL手法を顕著に上回った。
• SVHN-1では、タスク1で82.72%、タスク5で53.79%の精度を達成し、SMB（81.80%と35.46%）および他のベースラインを上回った。
• CIFAR10-5では、タスク1で95.60%、タスク5で65.91%の精度を達成し、SMB（95.78%と55.12%）および他のベースラインを上回った。
• Tiny-ImageNet-5では、タスク1で88.50%、タスク5で71.07%の精度を達成し、SMB（88.50%と65.47%）および他のバージョンを上回った。
• ORDisCoにおける条件付き画像生成品質は、SMBベースラインと比較して顕著に優れており、6番目のバッチ以降から高精細なサンプルが生成された。
• ディスクライマー一貫性正則化は、特に初期の増分段階で品質の悪い条件付きサンプルによって引き起こされる性能低下を効果的に低減した。