[論文レビュー] Weight-averaged consistency targets improve semi-supervised deep learning results.

Antti Tarvainen, Harri Valpola|arXiv (Cornell University)|Mar 6, 2017

Advanced Neural Network Applications被引用数 62

ひとこと要約

この論文は、モデルの重みを複数の学習イテレーションにわたって平均化することで一貫性のある予測を生成し、一般化性能を向上させる半教師あり学習手法Mean Teacherを提案する。Temporal Ensemblingよりも頻繁にターゲットを更新することで、SOTA（最先端）の結果を達成した：SVHNでは250ラベルでの誤差4.35%、CIFAR-10では4,000ラベルでの誤差6.28%を達成し、先行手法を上回った。

ABSTRACT

The recently proposed Temporal Ensembling has achieved state-of-the-art results in several semi-supervised learning benchmarks. It maintains an exponential moving average of label predictions on each training example, and penalizes predictions that are inconsistent with this target. However, because the targets change only once per epoch, Temporal Ensembling becomes unwieldy when learning large datasets. To overcome this problem, we propose Mean Teacher, a method that averages model weights instead of label predictions. As an additional benefit, Mean Teacher improves test accuracy and enables training with fewer labels than Temporal Ensembling. Without changing the network architecture, Mean Teacher achieves an error rate of 4.35% on SVHN with 250 labels, outperforming Temporal Ensembling trained with 1000 labels. We also show that a good network architecture is crucial to performance. Combining Mean Teacher and Residual Networks, we improve the state of the art on CIFAR-10 with 4000 labels from 10.55% to 6.28%, and on ImageNet 2012 with 10% of the labels from 35.24% to 9.11%.

研究の動機と目的

• 大規模データセットにおいて、予測の更新が稀であるTemporal Ensemblingの非効率性を解消すること。
• 予測に基づく一貫性ではなく、重み平均化によるモデルの一貫性に置き換えることで、半教師あり学習の性能を向上させること。
• 高い精度を達成するためのラベル付き例の数を削減すること。
• Residual Networksのような強力なアーキテクチャとMean Teacherを組み合わせることで性能がさらに向上することを示すこと。

提案手法

• Mean Teacherは、モデル自身の重みの指数的移動平均を用いて教師ネットワークを構築する。
• 学習中、学生ネットワークの予測が、同じ入力に対する教師ネットワークの予測と一致するように正則化される。
• 教師ネットワークの重みはモーメンタム更新ルールで更新される：θ_teacher ← τθ_teacher + (1−τ)θ_student。
• 同じ拡張済み入力に対する学生と教師の予測のL2損失を最小化することで、一貫性正則化が適用される。
• 頻繁なターゲット更新が可能となり、大規模データセットにおける学習の安定性と収束性が向上する。
• この手法はアーキテクチャに依存せず、任意の深層ニューラルネットワーク、特に残差ネットワークと組み合わせて使用可能である。

実験結果

リサーチクエスチョン

• RQ1 重み平均化による一貫性ターゲットは、予測平均化によるターゲットに比べて半教師あり学習の性能を向上させるか？
• RQ2 重み平均化による頻繁なターゲット更新は、より良い一般化性能と高速な収束をもたらすか？
• RQ3 Mean Teacherは、先行手法よりも顕著に少ないラベル数で最先端の結果を達成できるか？
• RQ4 Mean Teacherと残差ネットワークの組み合わせは、標準ベンチマーク上での性能にどのように影響を与えるか？

主な発見

• SVHNでは250ラベルのみでテスト誤差4.35%を達成し、1,000ラベルで学習したTemporal Ensemblingを上回った。
• CIFAR-10では4,000ラベルで、残差ネットワークと組み合わせた場合、誤差が10.55%から6.28%に低下した。
• ImageNet 2012では訓練ラベルの10%のみで、Mean Teacherと残差ネットワークを組み合わせた場合、誤差が35.24%から9.11%に低下した。
• Temporal Ensemblingよりも頻繁なターゲット更新が可能となり、大規模データセットにおける学習効率が向上した。
• 性能向上は一貫性メカニズムそのものだけでなく、強力な残差ネットワークアーキテクチャの使用にも起因している。