[論文レビュー] Semi-Supervised Learning by Augmented Distribution Alignment

Qin Wang, Wen Li+1 more|arXiv (Cornell University)|Jan 1, 2019

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 7

ひとこと要約

本論文では、敵対的特徴整合化とクロスセットデータ補間を用いて、ラベル付きデータとラベルなしデータの間の経験的分布不一致を低減する半教師あり学習手法であるAugmented Distribution Alignment (ADA-Net)を提案する。潜在的分布の整合化と偽サンプルの生成により、アーキテクチャの最小限の変更でCIFAR10（8.72%誤差）およびSVHN（3.54%誤差）で最先端の結果を達成した。

ABSTRACT

In this work, we propose a simple yet effective semi-supervised learning approach called Augmented Distribution Alignment. We reveal that an essential sampling bias exists in semi-supervised learning due to the limited number of labeled samples, which often leads to a considerable empirical distribution mismatch between labeled data and unlabeled data. To this end, we propose to align the empirical distributions of labeled and unlabeled data to alleviate the bias. On one hand, we adopt an adversarial training strategy to minimize the distribution distance between labeled and unlabeled data as inspired by domain adaptation works. On the other hand, to deal with the small sample size issue of labeled data, we also propose a simple interpolation strategy to generate pseudo training samples. Those two strategies can be easily implemented into existing deep neural networks. We demonstrate the effectiveness of our proposed approach on the benchmark SVHN and CIFAR10 datasets. Our code is available at \url{https://github.com/qinenergy/adanet}.

研究の動機と目的

• 半教師あり学習における限られたラベル付きデータと豊富なラベルなしデータの間の経験的分布不一致という軽視されがちな問題に対処すること。
• 潜在空間におけるラベル付きデータとラベルなしデータの経験的分布を統合することで、モデルの一般化性能を向上させること。
• 新しい補間ベースのデータ拡張戦略により、ラベル付きデータの小規模なサンプルサイズ問題を軽減すること。
• 既存の深層ニューラルネットワークに簡単に統合できる、シンプルで即席的な手法を開発すること。

提案手法

• ドメイン適応のインスピレーションを受けて、潜在空間におけるラベル付きおよびラベルなし特徴の分布距離を最小化するために敵対的訓練が用いられる。
• 分布整合化目的関数のエンドツーエンド訓練を可能にするために、勾配反転層が採用される。
• 入力空間におけるラベル付きおよびラベルなしデータポイントの間の補間によって偽サンプルが生成され、分布カバレッジが向上する。
• 補間ベースの拡張戦略により多様性が向上し、希少なラベル付きデータに起因する分布ギャップを埋めるのを助ける。
• 標準的な深層ネットワークへの最小限の変更で実装されており、既存のSSLフレームワークへの容易な統合が可能である。
• 分布整合化とデータ拡張を統合的な訓練目的関数に組み合わせることで、一般化性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータとラベルなしデータの間の経験的分布不一致が、半教師あり学習の性能にどのように影響を与えるか？
• RQ2 敵対的特徴整合化は、半教師あり学習における分布差を効果的に低減できるか？
• RQ3 ラベル付きデータが限られている状況で、クロスセット補間はどれほどモデルの一般化性能を向上させられるか？
• RQ4 提案手法は、一貫性正則化や自己トレーニングといった既存のSSL技術と補完的か？
• RQ5 分布整合化とデータ拡張の組み合わせにより、標準ベンチマークで最先端の性能が達成できるか？

主な発見

• ADA-Netは、ラベル付きデータを10%に制限したCIFAR10で、8.72%の誤差率という新たな最先端のテスト誤差率を達成した。
• SVHNでは、VAT+Entと組み合わせた場合、3.54%の誤差率を達成し、新たな最先端結果を樹立した。
• SVHNにおけるカーネル密度推定の比較から、経験的分布不一致が顕著に低減されていることが示された。
• ラベルの少ない環境下でも性能が向上し、ラベル不足に対するロバストネスを示した。
• VAT+Entと組み合わせた場合、CIFAR10で10.09%の誤差率を達成し、ベースラインを上回った。
• ImageNet（ラベル付きデータ10%）では、トップ-1誤差率が44.91%に達し、Mean TeacherおよびDual-View Deep Co-Trainingを上回った。