[論文レビュー] Why are deep nets reversible: A simple theory, with implications for training

Sanjeev Arora, Yingyu Liang+1 more|arXiv (Cornell University)|Nov 18, 2015

Generative Adversarial Networks and Image Synthesis参考文献 15被引用数 41

ひとこと要約

本論文は、深層ReLUネットワークの可逆性について、ランダムに似た重み仮説に基づく単純な理論的説明を提案する。生成モデルは、転置された重みを用いた順方向ネットワークの逆方向である。SHADOW法を導入し、隠れ層から生成された合成データを用いて訓練を改善する。合成データ上で一般化性能と誤差追跡が向上し、CIFAR-10、CIFAR-100、MNISTでドロップアウト有無を問わず妥当性が検証された。

ABSTRACT

Generative models for deep learning are promising both to improve understanding of the model, and yield training methods requiring fewer labeled samples. Recent works use generative model approaches to produce the deep net's input given the value of a hidden layer several levels above. However, there is no accompanying "proof of correctness" for the generative model, showing that the feedforward deep net is the correct inference method for recovering the hidden layer given the input. Furthermore, these models are complicated. The current paper takes a more theoretical tack. It presents a very simple generative model for RELU deep nets, with the following characteristics: (i) The generative model is just the reverse of the feedforward net: if the forward transformation at a layer is $A$ then the reverse transformation is $A^T$. (This can be seen as an explanation of the old weight tying idea for denoising autoencoders.) (ii) Its correctness can be proven under a clean theoretical assumption: the edge weights in real-life deep nets behave like random numbers. Under this assumption ---which is experimentally tested on real-life nets like AlexNet--- it is formally proved that feed forward net is a correct inference method for recovering the hidden layer. The generative model suggests a simple modification for training: use the generative model to produce synthetic data with labels and include it in the training set. Experiments are shown to support this theory of random-like deep nets; and that it helps the training.

研究の動機と目的

• 深層ReLUネットワークの生成モデリングにおける可逆性に対する理論的根拠を提供すること。
• 深層学習における生成モデルの形式的正しさの欠如、特に入力から隠れ表現を回復する点についての課題を解決すること。
• ネットワーク自身の隠れ層から生成された合成サンプルを用いた、単純で理論的根拠のあるデータ拡張法を提案すること。
• 実験的に、逆方向プロセスを用いて生成された合成データが訓練性能および一般化性能を向上させることを検証すること。

提案手法

• ランダムに似た重み仮説を提案：現実世界の深層ネットワークは、エッジ重みがランダム行列と類似した統計的性質を示す。
• 生成モデルを、隠れ表現 z から p(x|z) を計算するために転置された重み行列を用いた順方向ネットワークの逆方向として定義する。
• SHADOW法を導入：各ラベル付き入力 x に対して、順方向パスで隠れ表現 z を計算し、その後、逆方向パスで合成入力 x̃ を生成し、(x̃, z) を訓練データに追加する。
• 変種を用いて手法を適用：異なる隠れ層（h₂ または h₃）を用いる、生成時にドロップアウトノイズを追加する、画像平滑化を適用して耐性を高める。
• シャドー分布を、ネットワークの内部表現と整合する現実的な合成データを生成する原理的で整合性のある方法として用いる。
• CIFAR-10、CIFAR-100、MNISTで手法を実験的にテストし、ドロップアウト有無および異なる合成データ生成戦略との比較を実施する。

実験結果

リサーチクエスチョン

• RQ1 入力から隠れ表現を回復するための順方向ネットワークが、どのような条件下で正しい推論手法となるか？
• RQ2 転置された重みに基づく単純な可逆変換を用いて、深層ReLUネットワークの生成モデルを形式的に正当化できるか？
• RQ3 逆方向ネットワークプロセスを用いて合成データを生成することで、実際の一般化性能および訓練性能が向上するか？
• RQ4 実際の運用において、h₃ と h₂ から生成された合成データの性能はどのように比較されるか？
• RQ5 合成データ生成時に追加の正則化技術（例：サンプリング、平滑化）を適用することで、モデルの耐性がさらに向上するか？

主な発見

• SHADOW法は、CIFAR-10、CIFAR-100、MNISTで訓練中の誤差低減を著しく加速し、ドロップアウトを用いた標準的なバックプロパゲーションよりも性能優位性を維持した。
• 合成データ上のテスト誤差は、実データ上のテスト誤差をよく追跡しており、シャドー分布が真のデータ分布の有効な代理であるという理論的予測が妥当であることを裏付けた。
• h₂ の代わりに h₃ を用いて合成データを生成することで、同等またはより良い性能が得られ、高レベルの表現が現実的な入力を効果的に生成できることを示した。
• 生成時にサンプリング（例：ドロップアウト）を追加すると分散が増加するが、最終誤差は類似した水準を維持し、この手法の耐性を支持した。
• 合成データに画像平滑化を適用することで、最終テスト誤差が低下した。これは、滑らかさなどのインダクティブバイアスを組み込むことで一般化性能が向上することを示唆している。
• 実験的検証により、実世界の深層ネットワーク（例：AlexNet）がランダムに似た性質を示すことが確認された—重み要素は概ね独立同分布であり、特異値は四分円則に従う—理論的仮定を支持する結果が得られた。