[論文レビュー] Semi-Supervised Learning with Ladder Networks

Antti Rasmus, Harri Valpola+3 more|arXiv (Cornell University)|Jul 9, 2015

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 596

ひとこと要約

この論文は、スキップ接続とレイヤーごとの再構成を用いて、教師あり学習と教師なしノイズ除去オートエンコーダーをLadderネットワークを介して統合する半教師あり深層学習フレームワークを提案している。一般化性能を向上させる。MNIST、CIFAR-10、およびラベル順序不変MNISTにおいて、最小限のラベルデータで最先端の性能を達成し、半教師ありおよび完全教師あり設定の両方で先行手法を上回っている。

ABSTRACT

We combine supervised learning with unsupervised learning in deep neural networks. The proposed model is trained to simultaneously minimize the sum of supervised and unsupervised cost functions by backpropagation, avoiding the need for layer-wise pre-training. Our work builds on the Ladder network proposed by Valpola (2015), which we extend by combining the model with supervision. We show that the resulting model reaches state-of-the-art performance in semi-supervised MNIST and CIFAR-10 classification, in addition to permutation-invariant MNIST classification with all labels.

研究の動機と目的

• 層ごとの事前学習を必要とせず、同時に教師ありおよび教師なし学習を実行できる深層ニューラルネットワークアーキテクチャの開発。
• 各隠れ層でノイズ付き入力を再構成するノイズ除去オートエンコーダーの目的関数を用いて、ラベルなしデータを活用することで、半教師あり学習における一般化性能を向上させること。
• 教師なし部品が、ラベルが少ない状況にとどまらず、完全教師あり設定（例：ラベル順序不変MNIST）においても性能向上をもたらすことを示すこと。
• 局所的でレイヤー単位の教師なし目的関数を用いることで、深層アーキテクチャにおけるスケーラビリティと計算効率を向上させること。

提案手法

• 各エンコーダー層から対応するデコーダー層へのスキップ接続を備えた深層順方向ネットワークを採用し、'ラダー'構造を形成する。
• 各隠れ層が自身のノイズ付きバージョンを再構成するように学習させ、ノイズ除去オートエンコーダーの目的関数を用いて、頑健で不変な表現を促進する。
• デコーダーはエンコーダーを模倣する構造となっており、垂直方向のマッピングを逆転させ、エンコーダーおよびデコーダーの両経路を通じた勾配伝播を可能にする。
• 教師あり交差エントロピー損失と教師なし再構成損失の合計となる組み合わせ損失関数を用いて、バックプロパゲーションによりエンドツーエンドで訓練する。
• 収束を加速し、学習を安定化させるためにバッチ正規化を適用する。
• 標準的なアーキテクチャ（MLP や CNN）と互換性があり、最小限のアーキテクチャ的変更で実装可能である。

実験結果

リサーチクエスチョン

• RQ1 教師ありおよび教師なし学習を統合する統一された訓練手順は、半教師あり画像分類タスクの性能向上に寄与するか？
• RQ2 レイヤー単位のノイズ除去オートエンコーディングを組み込むことで、ラベルデータが限られる状況においても、深層ネットワークの一般化性能が向上するか？
• RQ3 教師なし部品は、完全教師あり設定（例：ラベル順序不変MNIST）においても性能向上をもたらすのか？
• RQ4 スキップ接続と局所的教師なし目的関数を備えたLadderネットワークのアーキテクチャは、従来の事前学習やエンドツーエンド訓練と比較してどのように異なるか？

主な発見

• 100個のラベル付き例での半教師ありMNIST分類において、先行手法を著しく上回る最先端の性能を達成した。
• CIFAR-10では、4,000枚のラベル付き画像でテスト誤差1.4%を達成し、半教師あり学習分野で新たな最先端を樹立した。
• ラベル順序不変MNISTタスクでは、完全ラベル付きの監視下でも、教師なし目的関数が性能を向上させ、負の干渉が生じないことを示した。
• MLPおよびCNNを含む複数の深層アーキテクチャにおいて性能が向上し、アーキテクチャの再設計を必要としなかった。
• 計算コストは、標準的な教師あり学習と比較してわずかに増加するにとどまり、更新ごとの計算量の乗法的増加要因が小さい。
• バッチ正規化を組み合わせると、収束が速くかつ信頼性が高く、実用的ユーティリティが顕著に高いことを示した。