[論文レビュー] Repetitive Reprediction Deep Decipher for Semi-Supervised Learning

Guohua Wang, Jianxin Wu|arXiv (Cornell University)|Aug 9, 2019

Machine Learning and Data Classification参考文献 21被引用数 5

ひとこと要約

本稿では、指数的リンク関数を通じて深層ネットワークの予測値を偽ラベルとして使用する理論的根拠を提示する、R2-D2と呼ばれる新しいエンドツーエンドの半教師あり学習フレームワークを提案する。繰り返し再予測（R2）を導入することで偽ラベルの平坦化を是正し、SOTA（最先端）の性能を達成。ImageNetでは、先行手法と比較してトップ1誤差を5%低減した。

ABSTRACT

Most recent semi-supervised deep learning (deep SSL) methods used a similar paradigm: use network predictions to update pseudo-labels and use pseudo-labels to update network parameters iteratively. However, they lack theoretical support and cannot explain why predictions are good candidates for pseudo-labels. In this paper, we propose a principled end-to-end framework named deep decipher (D2) for SSL. Within the D2 framework, we prove that pseudo-labels are related to network predictions by an exponential link function, which gives a theoretical support for using predictions as pseudo-labels. Furthermore, we demonstrate that updating pseudo-labels by network predictions will make them uncertain. To mitigate this problem, we propose a training strategy called repetitive reprediction (R2). Finally, the proposed R2-D2 method is tested on the large-scale ImageNet dataset and outperforms state-of-the-art methods by 5 percentage points.

研究の動機と目的

• 半教師あり学習における深層ネットワークの予測値を偽ラベルとして使用する際の理論的根拠の欠如に取り組むこと。
• バックプロパゲーションを介してネットワークパラメータと偽ラベルを同時に最適化するエンドツーエンドフレームワークを構築すること。
• 訓練中に偽ラベルが平坦化（エントロピーが高くなる）する問題を特定し、是正すること。
• 特にImageNetのような大規模データセットを含む半教師あり学習ベンチマークでの性能向上を図ること。

提案手法

• 偽ラベルをバックプロパゲーションで更新可能な変数として扱うエンドツーエンドフレームワーク「Deep Decipher (D2)」を提案する。
• 理論的に、偽ラベルとネットワーク予測値の間に指数的関係が成り立つことを証明し、予測値を偽ラベルとして使用する根拠を提供する。
• 最適化中に偽ラベルの平坦化を軽減するため、繰り返し再予測（R2）戦略を導入する。
• ラベルの確率分布を偽ラベルとして用い、ネットワーク重みと偽ラベルを同時に最適化可能にする。
• ネットワークパラメータと偽ラベルの両方に対する最尤推定の定式化を用いて、D2の最適化目的関数を定義する。
• 訓練中に未ラベルサンプルを繰り返し再予測することで、R2戦略を適用し、偽ラベルの安定性と鋭さを向上させる。

実験結果

リサーチクエスチョン

• RQ1 なぜ深層ネットワークの予測値が半教師あり学習における偽ラベルとして妥当な選択となるのか？
• RQ2 偽ラベルを手動で設定するかヒューリスティックな平均化を行うのではなく、バックプロパゲーションによってエンドツーエンドで学習可能か？
• RQ3 訓練中に偽ラベル品質が劣化する原因は何か、そしてどのように是正できるか？
• RQ4 適応的で理論的根拠を持つ偽ラベルを有するフレームワークは、既存のSOTA半教師あり学習手法を上回ることができるか？

主な発見

• 1%のラベル付きデータを用いたImageNetでは、R2-D2は前回のSOTAと比較してトップ1誤差が5ポイント低い。
• 4,000枚のラベル付き画像を用いたCIFAR-10では、R2-D2はテスト誤差率5.72%を達成し、Mean Teacher や HybridNet を上回った。
• 10,000枚のラベル付き画像を用いたCIFAR-100では、R2-D2は32.87%の誤差率を達成し、Temporal Ensembling や Mean Teacher、DCT を上回った。
• 1,000枚のラベル付き画像を用いたSVHNでは、R2-D2は3.64%の誤差率を達成し、Temporal Ensembling や Mean Teacher を上回った。
• 理論的分析により、訓練中に偽ラベルが平坦化（エントロピーが高くなる）することが確認され、R2がこれを効果的に是正している。
• D2フレームワークは、指数的関係を通じて予測値を偽ラベルとして使用する根拠を体系的に提示し、従来の経験的実践を正当化した。