[論文レビュー] Temporal Ensembling for Semi-Supervised Learning

Samuli Laine, Timo Aila|arXiv (Cornell University)|Oct 7, 2016

Advanced Neural Network Applications参考文献 30被引用数 1,496

ひとこと要約

本論文は自己アンサンブル法（Pi-model と temporal ensembling）を導入し、エポックと拡張を跨ぐアンサンブル予測を未ラベルデータのターゲットとして用いることで、半教師あり学習の最先端の成果を達成する。

ABSTRACT

In this paper, we present a simple and efficient method for training deep neural networks in a semi-supervised setting where only a small portion of training data is labeled. We introduce self-ensembling, where we form a consensus prediction of the unknown labels using the outputs of the network-in-training on different epochs, and most importantly, under different regularization and input augmentation conditions. This ensemble prediction can be expected to be a better predictor for the unknown labels than the output of the network at the most recent training epoch, and can thus be used as a target for training. Using our method, we set new records for two standard semi-supervised learning benchmarks, reducing the (non-augmented) classification error rate from 18.44% to 7.05% in SVHN with 500 labels and from 18.63% to 16.55% in CIFAR-10 with 4000 labels, and further to 5.12% and 12.16% by enabling the standard augmentations. We additionally obtain a clear improvement in CIFAR-100 classification accuracy by using random images from the Tiny Images dataset as unlabeled extra inputs during training. Finally, we demonstrate good tolerance to incorrect labels.

研究の動機と目的

• データのごく一部のみがラベル付けされる半教師あり学習を動機づける。
• ドロップアウトと入力拡張を活用して、未ラベルデータの信頼できるターゲットを生成する自己アンサンブル手法を提案する。
• 標準ベンチマーク（SVHN、CIFAR-10）で従来法より分類精度が向上することを示す。
• ラベルノイズへの耐性と、完全に教師付き設定での潜在的利得を示す。
• 実用的な考慮事項と関連する半教師ありアーキテクチャとの関連を論じる。

提案手法

• 提案される自己アンサンブル実装は2つ：Pi-model と temporal ensembling。
• Pi-model は、同じ入力に対する異なるドロップアウトおよび拡張下での2つの出力の整合性を強制する。
• Temporal ensembling は、複数の過去のエポックにわたる予測を統合して、未ラベルデータの安定したターゲットを形成する。
• 教師なし損失は、現在の予測をアンサンブルターゲットと比較し、出力ベクトル全体に対して平均二乗誤差を用い、w(t) で徐々に増加する重みでスケーリングする。
• ドロップアウトに基づく正則化と入力拡張が意味のあるアンサンブルターゲットを得るために不可欠である。
• Temporal ensembling はモーメントを用いてアンサンブル予測 Z を更新し、偏差補正を適用してターゲット tilde{z} を形成する。

実験結果

リサーチクエスチョン

• RQ1 ラベルが乏しい場合に、複数のエポックと拡張を用いた自己アンサンブルは半教師あり学習を改善できるか？
• RQ2 Pi-model と temporal ensembling は、精度と学習効率の点でどう比較されるか？
• RQ3 退化的な解法を避ける上で、ドロップアウト、拡張、および教師なし損失のランプアップの役割は何か？
• RQ4 これらの手法は完全教師あり設定に拡張できるか、またはノイズのあるラベルに耐性があるか？

主な発見

• Pi-model と temporal ensembling は、SVHN および CIFAR-10 のベンチマークで従来の半教師あり手法を上回る。
• SVHN でラベル数が 500 の場合、非拡張設定でエラー率が 18.44% から 7.05% に低下。
• CIFAR-10 でラベル数が 4000 の場合、非拡張設定でエラー率が 18.63% から 16.55% に低下。
• 標準的な拡張を有効にすると、それぞれ SVHN が 5.12%、CIFAR-10 が 12.16% にエラーがさらに低下。
• Temporal ensembling はより速い学習を提供し、同程度のエポック数で Pi-model より良い結果を得られる場合がある。
• これらの手法は誤ったラベルに対する耐性を示し、Ladder networks や bootstrapping などの既存の半教師ありフレームワークと関連している。