[論文レビュー] Regularization With Stochastic Transformations and Perturbations for Deep Semi-Supervised Learning

Mehdi S. M. Sajjadi, Mehran Javanmardi+1 more|arXiv (Cornell University)|Jun 14, 2016

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 551

ひとこと要約

本論文は、同じサンプルを複数回の確率的パスでの予測差を最小化することでCNNを正則化する教師なし損失を導入し、ラベル付きデータが限られた状況で半教師あり学習を改善可能にする。

ABSTRACT

Effective convolutional neural networks are trained on large sets of labeled data. However, creating large labeled datasets is a very costly and time-consuming task. Semi-supervised learning uses unlabeled data to train a model with higher accuracy when there is a limited set of labeled data available. In this paper, we consider the problem of semi-supervised learning with convolutional neural networks. Techniques such as randomized data augmentation, dropout and random max-pooling provide better generalization and stability for classifiers that are trained using gradient descent. Multiple passes of an individual sample through the network might lead to different predictions due to the non-deterministic behavior of these techniques. We propose an unsupervised loss function that takes advantage of the stochastic nature of these methods and minimizes the difference between the predictions of multiple passes of a training sample through the network. We evaluate the proposed method on several benchmark datasets.

研究の動機と目的

• ラベル付きデータが乏しい場合にCNNの一般化性能を改善するために、ラベルなしデータを活用する動機づけ。
• トレーニング中の非決定論的変換と摂動を利用する教師なし損失を提案。
• ラベルなしで学習を導くために、変換/安定性損失と相互排他性損失を組み合わせる。
• 2つのCNN実装を用いて、複数のデータセットとアーキテクチャにおける有効性を示す。

提案手法

• ランダム変換 T^j(x_i)とネットワーク摂動の下で、同じサンプルの複数回の予測間の平均二乗誤差を最小化する教師なし損失を定義。
• 変換/安定性損失 l_U^TS を、すべてのパスのペア間の二乗差の和として表現する（式1）.
• 単純すぎる予測ベクトルを防ぐための相互排他性損失 l_U^ME を導入（式2）.
• 損失を l_U = λ1 l_U^ME + λ2 l_U^TS（式3）に組み合わせる。
• ミニバッチ内に複製サンプルを組み込むことで、教師あり損失との互換性とバッチ学習を示す。
• 2つのCNN実装（cuda-convnet AlexNet例と分数的最大プーリングを用いた疎な畳み込みネットワーク）を検討し、サンプルあたりのパス数 n をフレームワークの制約に基づき n=4 または n=5 に選択する方法を説明。

実験結果

リサーチクエスチョン

• RQ1 確率的変換とネットワーク摂動を跨ぐ一貫性を強制する教師なし損失は、半教師ありCNNの性能を改善できるか。
• RQ2 ラベルが乏しいときに、相互排他性損失と変換/安定性損失を結合することは学習にどう影響するか。
• RQ3 提案された損失は、データセット（MNIST、SVHN、NORB、CIFAR-10/100、ImageNet）とアーキテクチャ全体に一般化するか。
• RQ4 パス数とデータ拡張戦略が収束と精度に与える影響はどの程度か。

主な発見

• 変換/安定性損失と相互排他性損失は、ラベルデータが限られている場合に複数のデータセットでテスト精度を一貫して向上させる。
• 両方の教師なし損失の組み合わせは、いずれか一方のみの場合より大きな改善を生み出し、特に非常に小さなラベル付きデータセットで顕著。
• 複製パスの使用は誤り率を大幅に削減する（例としてSVHN/NORBで1%–5%のラベルデータ使用時に顕著な改善）。
• データ拡張とドロップアウト/RPと組み合わせた場合、本手法はCIFAR-10/100、ImageNetなどの複数のベンチマークで競争力のあるまたは最先端の結果を達成。