[論文レビュー] Lateral Connections in Denoising Autoencoders Support Supervised Learning

Antti Rasmus, Harri Valpola+1 more|arXiv (Cornell University)|Apr 30, 2015

Generative Adversarial Networks and Image Synthesis参考文献 13被引用数 11

ひとこと要約

本論文は、バックプロパゲーションを用いて教師あり分類と教師なしノイズ除去を共同最適化する、側面接続を備えた深層ノイズ除去オートエンコーダを提案する。事前学習の必要性が排除され、順列不変MNIST分類タスクにおいて、0.684%という新たなSOTA（最先端）のテスト誤差を達成した。

ABSTRACT

We show how a deep denoising autoencoder with lateral connections can be used as an auxiliary unsupervised learning task to support supervised learning. The proposed model is trained to minimize simultaneously the sum of supervised and unsupervised cost functions by back-propagation, avoiding the need for layer-wise pretraining. It improves the state of the art significantly in the permutation-invariant MNIST classification task.

研究の動機と目的

• 教師あり学習における一般化性能を向上させるために、教師なしノイズ除去オートエンコーダを補助タスクとして統合すること。
• バックプロパゲーションによる教師ありおよび教師なし目的の共同最適化により、段階的事前学習の必要性を排除すること。
• ノイズ除去オートエンコーダにおける側面接続が、分類のための特徴学習を強化するかどうかを調査すること。
• ピラミッド型ネットワークアーキテクチャ（上位層で次元数が低くなる構造）が、対称的アーキテクチャよりも側面接続を組み合わせた場合に優れた性能を示すかどうかを検証すること。
• 難易度の高い順列不変MNIST設定における、教師なし補助学習の一般化への影響を評価すること。

提案手法

• モデルはバッチ正規化とReLU非線形性を備えたマルチレイヤーパーセプトロンエンコーダを用い、最上位層が分類予測を出力する。
• 入力データに等方的ガウスノイズを付加し、ノイズ除去オートエンコーダ経路を通じて元の入力を再構築するようにネットワークを学習させる。
• 側面接続により、各隠れユニットがデコーダの対応ユニットから直接的・ユニット単位のフィードバックを受けることができ、詳細な情報伝達が可能になる。
• デコーダは、学習可能なパラメータ $ c_{ij}^{(l)} $, $ d_{ij}^{(l)} $ を含むパラメトリック関数とシグモイド非線形性を用いて、複雑なノイズ除去関数をモデル化する。
• 教師なし損失は再構築入力と元の入力の平均二乗誤差であり、教師あり損失は真のラベルの負の対数尤度である。
• 両損失はハイパーパrameter $ \eta $ を用いて結合され、Adam最適化と線形に減少する学習率を用いてモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ除去オートエンコーダにおける側面接続は、教師あり学習タスクにおける一般化性能を向上させることができるか？
• RQ2 バックプロパゲーションによる教師ありおよび教師なし目的の共同学習は、順列不変MNISTにおいて、標準的な教師あり学習を上回る性能を発揮するか？
• RQ3 側面接続を用いる場合、オートエンコーダのアーキテクチャ（例：ピラミッド型対比対称型）は性能にどのように影響するか？
• RQ4 一般化の観点から、教師ありと教師なし損失項の最適なバランスは何か？
• RQ5 提案されたモデルは、事前学習や複雑な推論手順を一切用いずに、最先端の性能を達成できるか？

主な発見

• モデルは順列不変MNIST分類タスクにおいて0.684%のテスト誤差を達成し、前回のSOTA（0.782%）を顕著に上回った。
• 最良の性能は、教師なしコスト乗数 $ \eta = 500 $ 時に達成され、補助的ノイズ除去タスクの有効性が裏付けられた。
• 層サイズが 784-1000-500-250-250-250-10 のモデルは、浅いアーキテクチャを上回った。これは、側面接続を備えた深層ネットワークが有効であることを示している。
• 純粋な教師あり学習（$ \eta = 0 $）の平均テスト誤差は0.89%であり、教師なし補助タスクの肯定的影響が確認された。
• バッチ正規化とAdam最適化のおかげで、モデルは高速かつ安定して収束し、実用的で学習が容易であることが示された。
• 結果から、側面接続を備えた教師なしノイズ除去により、関連する情報を重視するようネットワークがより強固で一般化可能な特徴を学習できることが示唆された。