[論文レビュー] Deconstructing the Ladder Network Architecture

Mohammad Pezeshki, Linxi Fan+3 more|arXiv (Cornell University)|Nov 19, 2015

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 66

ひとこと要約

本論文は、体系的なアブレーションスタディを通じてLadder Networkアーキテクチャを解体し、半教師あり学習性能において、横方向のスキップ接続とレイヤー単位のノイズ注入が最も重要な要因であることが明らかになった。著者らは拡張されたMLPを用いた改良型コンビナトリック関数を導入し、順列不変MNISTで、教師あり学習時0.57%、半教師あり学習時1000ラベル付き例を使用した場合0.97%という最先端の誤差率を達成した。

ABSTRACT

The Manual labeling of data is and will remain a costly endeavor. For this reason, semi-supervised learning remains a topic of practical importance. The recently proposed Ladder Network is one such approach that has proven to be very successful. In addition to the supervised objective, the Ladder Network also adds an unsupervised objective corresponding to the reconstruction costs of a stack of denoising autoencoders. Although the empirical results are impressive, the Ladder Network has many components intertwined, whose contributions are not obvious in such a complex architecture. In order to help elucidate and disentangle the different ingredients in the Ladder Network recipe, this paper presents an extensive experimental investigation of variants of the Ladder Network in which we replace or remove individual components to gain more insight into their relative importance. We find that all of the components are necessary for achieving optimal performance, but they do not contribute equally. For semi-supervised tasks, we conclude that the most important contribution is made by the lateral connection, followed by the application of noise, and finally the choice of what we refer to as the `combinator function' in the decoder path. We also find that as the number of labeled training examples increases, the lateral connections and reconstruction criterion become less important, with most of the improvement in generalization being due to the injection of noise in each layer. Furthermore, we present a new type of combinator function that outperforms the original design in both fully- and semi-supervised tasks, reducing record test error rates on Permutation-Invariant MNIST to 0.57% for the supervised setting, and to 0.97% and 1.0% for semi-supervised settings with 1000 and 100 labeled examples respectively.

研究の動機と目的

• Ladder Networkアーキテクチャ内の個々の構成要素が、その強力な半教師あり学習性能に果たす相対的寄与度を特定すること。
• 横方向接続、ノイズ注入、コンビナトリック関数などのアーキテクチャ的選択が、一般化性能および誤差率に与える影響を調査すること。
• ラベル付き例の数が増加するに従って、特に半教師あり学習から完全教師あり学習への移行においても、どの構成要素が依然として不可欠であるかを特定すること。
• ベンチマーク半教師あり学習タスクにおける性能向上を図る、新しいコンビナトリック関数の提案および評価。
• Ladder Networkの成功の背後にある設計原理に関する実証的知見を提供し、今後の深層半教師ありモデルの開発を支援すること。

提案手法

• 著者らは、横方向接続、ノイズ注入、コンビナトリック関数といった重要な構成要素を除去または置き換えることで、Ladder Networkを体系的に変更し、ハイパーパrameterおよびデータ分割を一定に保った。
• 複数の設定、特に順列不変MNISTにおける完全教師ありおよび半教師あり学習を対象に、制御されたアブレーションスタディを実施してバリエーションを評価した。
• コンビナトリック関数は、ノイズありおよび再構築済み表現間の乗法的相互作用を組み込んだ拡張された多層パーセプトロン（AMLP）を用いて再定義された。
• ノイズは前方伝播中に各隠れ層に注入され、重み付き和としての教師あり交差エントロピー損失と教師なし再構築損失を用いて、ノイズあり表現からクリアな表現を再構築するようにネットワークを訓練した。
• ノイズありおよびクリアな表現の両方のエンコーダー・パラメータを共有し、横方向のスキップ接続により、上位レイヤーから下位レイヤーへの特徴の精練が可能になった。
• 目的関数は、トップレイヤー出力における教師あり交差エントロピー損失と、各レイヤーにおける教師なし再構築損失を組み合わせており、ハイパーパramータλₗによる適応的重み付けが行われた。

実験結果

リサーチクエスチョン

• RQ1 Ladder Networkアーキテクチャにおける横方向接続、ノイズ注入、コンビナトリック関数のうち、半教師あり学習性能の向上に最も寄与しているのはどれか？
• RQ2 ラベル付き例の数が増加するに従って、各アーキテクチャ的構成要素の重要性はどのように変化するか？
• RQ3 変更されたコンビナトリック関数は、元のLadder Network設計を上回る一般化性能を向上させることができるか？
• RQ4 再構築損失とノイズ注入の両方が、教師ありおよび半教師ありの両状態において一般化に果たす相対的寄与度は何か？
• RQ5 Ladder Networkは、確率的解釈の観点から、正則化されたオートエンコーダーと見なせるか、あるいは変分オートエンコーダーと類似していると見なせるか、その程度はいかほどか？

主な発見

• 横方向接続は、半教師あり学習において最も重要な要因であり、その除去はすべての設定で性能の著しい低下を引き起こした。
• 特に最初の隠れ層における各レイヤーへのノイズ注入は、強力な正則化効果をもたらし、性能向上において第二に重要な要因であった。
• コンビナトリック関数の選択は、測定可能な影響を及ぼすが、それほど劇的ではない。AMLPバージョンは、オリジナルのコンビナトリック関数を上回り、最先端の結果を達成した。
• 60,000個のラベル付き例を用いる場合、横方向接続および再構築損失による性能向上の寄与度は低下するが、ノイズ注入は一般化に寄与する主要因のままだった。
• AMLPコンビナトリック関数により、完全教師ありの順列不変MNISTタスクでテスト誤差が0.57%に低下し、1,000および100個のラベル付き例を用いた半教師あり設定では、それぞれ0.97%および1.0%に低下した。
• 自由に制約のないσ(u)を用いたガウス型コンビナトリック関数は、ゲート型バージョンよりも優れた性能を示し、学習されたスケーリングによる不確実性推定が性能向上に寄与していることが示唆された。