[論文レビュー] Simplified Stochastic Feedforward Neural Networks

Kimin Lee, Jaehyung Kim+2 more|arXiv (Cornell University)|Apr 11, 2017

Advanced Neural Network Applications参考文献 40被引用数 4

ひとこと要約

本稿では、事前学習済みの決定的深層ニューラルネットワーク（DNN）を活用することで、大規模な確率的フィードフォワードニューラルネットワーク（SFNN）の効率的な学習を可能にする、新しい中間確率的ニューラルネットワーク「Simplified-SFNN」を提案する。DNN → Simplified-SFNN → SFNN の階層を構築することで、DNNのパラメータをSimplified-SFNNに転送しつつ性能を維持し、効果的なファインチューニングを可能にした。28層WRNモデルを用いたCIFAR-100およびSVHNにおける実験で、最先端の結果を達成した。

ABSTRACT

It has been believed that stochastic feedforward neural networks (SFNNs) have several advantages beyond deterministic deep neural networks (DNNs): they have more expressive power allowing multi-modal mappings and regularize better due to their stochastic nature. However, training large-scale SFNN is notoriously harder. In this paper, we aim at developing efficient training methods for SFNN, in particular using known architectures and pre-trained parameters of DNN. To this end, we propose a new intermediate stochastic model, called Simplified-SFNN, which can be built upon any baseline DNNand approximates certain SFNN by simplifying its upper latent units above stochastic ones. The main novelty of our approach is in establishing the connection between three models, i.e., DNN->Simplified-SFNN->SFNN, which naturally leads to an efficient training procedure of the stochastic models utilizing pre-trained parameters of DNN. Using several popular DNNs, we show how they can be effectively transferred to the corresponding stochastic models for both multi-modal and classification tasks on MNIST, TFD, CASIA, CIFAR-10, CIFAR-100 and SVHN datasets. In particular, we train a stochastic model of 28 layers and 36 million parameters, where training such a large-scale stochastic network is significantly challenging without using Simplified-SFNN

研究の動機と目的

• 確率的フィードフォワードニューラルネットワーク（SFNN）の学習は、推論が困難でバックプロパゲーションの直接サポートがないため、著しく困難であるという課題に対処すること。
• SFNNの学習を、深層ニューラルネットワーク（DNN）の既存のアーキテクチャと学習法の進展を活用することで、ゼロから学習するのではなく、実用的で効率的な手順で行うこと。
• DNN、Simplified-SFNN、SFNNの間の理論的かつ実験的関係を確立し、パラメータ転送と性能の維持を可能にすること。
• CIFAR-10、CIFAR-100、SVHNなど複数のベンチマークで系統的な実験を通じて、SFNNがDNNよりも優れた正則化を提供すること、特に深層アーキテクチャにおいて顕著であることを示すこと。

提案手法

• 上位層にのみ確率的ユニットを導入することで、確率的構造を単純化したDNNとSFNNの間の中間モデルとしてSimplified-SFNNを提案する。
• DNNからSimplified-SFNNへの厳密なパラメータ変換を確立し、ネットワークの入力出力マッピングを維持する。
• 標準的なバックプロパゲーションによる学習可能性を保ちながら、完全なSFNNの挙動を近似する2つの非線形活性化関数を用いる。
• 2段階の学習戦略を採用する：まずDNNを事前学習し、その後、変換されたDNNパラメータを用いて対応するSimplified-SFNNをファインチューニングする。
• Simplified-SFNNのファインチューニング中にドロップアウトやバッチ正則化などの既知のDNN技術を適用し、一般化性能を向上させる。
• 学習中のテスト誤差評価の安定性を確保するため、M=5サンプルを用いたモンテカルロ近似を採用する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みDNNのパラメータを確率的モデルに効果的に転送することで、学習効率と性能の向上が達成できるか？
• RQ2 Simplified-SFNNは、直接学習が困難な大規模SFNNを効率的かつ実用的に学習するための有効な道筋を提供するか？
• RQ3 Simplified-SFNNの確率的性質により、特に深層アーキテクチャにおいて、そのDNN同等物よりも優れた一般化性能が得られるか？
• RQ4 提案手法は、CIFAR-10、CIFAR-100、SVHNといった標準ベンチマークで最先端の性能を達成できるか？

主な発見

• Simplified-SFNNは、すべての分類タスクで対応するDNNベースラインを一貫して上回り、正則化の向上が確認された。WRN-28を用いたCIFAR-100では0.58%の誤差低減を達成した。
• WRN-28モデルをSimplified-SFNNでファインチューニングした結果、CIFAR-100でのテスト誤差は19.72%にまで低下し、元のDNNより0.58%優れた性能を示した。
• WRNアーキテクチャに2層までの確率的層を追加することで誤差率がさらに低下し、確率的深さと性能向上の正の相関関係が示された。
• 提案手法により、28層、3600万パラメータの確率的ネットワークの学習が可能になったが、Simplified-SFNNの中間ステップがなければ著しく困難であった。
• 中国語文字生成タスクでは、Simplified-SFNNがマルチモーダルな出力を生成し、決定的DNNでは得られない表現力の高さを示した。これは、単純なパラメータ転送で学習されたSFNNとは対照的である。
• ファインチューニッシュされたSimplified-SFNNは、SVHNで3.06%の誤差を達成し、1層の確率的層を用いた場合に0.19%、2層の場合は0.19%の優位性を示した。