[論文レビュー] Inference in Deep Networks in High Dimensions

Alyson K. Fletcher, Sundeep Rangan|arXiv (Cornell University)|Jun 20, 2017

Gaussian Processes and Bayesian Inference参考文献 41被引用数 11

ひとこと要約

本稿では、既知のパラメータを持つ深層ニューラルネットワーク向けに、計算的に効率的な推論アルゴリズムであるマルチレイヤー・ベクトル近似メッセージパッシング（ML-VAMP）を提案する。これにより、出力からの入力および隠れユニットの推定が高精度で可能となり、ランダムで直交不変な重み行列を有する高次元設定において、理論的に最適な平均二乗誤差性能を達成する。

ABSTRACT

Deep generative networks provide a powerful tool for modeling complex data in a wide range of applications. In inverse problems that use these networks as generative priors on data, one must often perform inference of the inputs of the networks from the outputs. Inference is also required for sampling during stochastic training on these generative models. This paper considers inference in a deep stochastic neural network where the parameters (e.g., weights, biases and activation functions) are known and the problem is to estimate the values of the input and hidden units from the output. While several approximate algorithms have been proposed for this task, there are few analytic tools that can provide rigorous guarantees in the reconstruction error. This work presents a novel and computationally tractable output-to-input inference method called Multi-Layer Vector Approximate Message Passing (ML-VAMP). The proposed algorithm, derived from expectation propagation, extends earlier AMP methods that are known to achieve the replica predictions for optimality in simple linear inverse problems. Our main contribution shows that the mean-squared error (MSE) of ML-VAMP can be exactly predicted in a certain large system limit (LSL) where the numbers of layers is fixed and weight matrices are random and orthogonally-invariant with dimensions that grow to infinity. ML-VAMP is thus a principled method for output-to-input inference in deep networks with a rigorous and precise performance achievability result in high dimensions.

研究の動機と目的

• 深層生成ネットワークにおいて、既知のパラメータを持つ場合の推論性能を評価するための厳密な解析的手法の不足に取り組むこと。
• 高次元極限において正確な平均二乗誤差予測を提供できる、計算的に扱いやすい推論手法を開発すること。
• 非線形性および任意の重み行列を有するマルチレイヤー深層ネットワークに、ベクトル近似メッセージパッシング（VAMP）を拡張すること。
• 従来のAMPが高条件数行列で収束不能となる問題を、直交不変な重み構造を用いることで克服すること。
• 逆問題や生成モデルの分野において、MAP や SGLD といったヒューリスティックな推論手法の原理的代替案を提供すること。

提案手法

• ML-VAMP は期待値伝播に基づいて導出され、複数のレイヤーと非線形活性化関数を有する深層確率的ネットワークに VAMP フレームワークを拡張したものである。
• アルゴリズムはネットワークを前向きおよび後向きに繰り返し走査し、各レイヤーに特化したノイズ除去関数を用いて入力および隠れユニットの推定値を更新する。
• 非 i.i.d. な重み行列（特に任意の条件数を有するもの）を扱えるように、ベクトル AMP フレームワークを活用する。これは、通常の AMP が収束を失いがちな状況を克服する。
• 各レイヤーに対して解析的ノイズ除去関数を用い、出力がシグモイド関数である場合、計算の容易さを考慮してプロビット関数による近似を採用する。
• 収束は、半反復ごとの正規化平均二乗誤差（NMSE）をモニタリングすることで行い、1回のフルイテレーションは1回の前向きパスと1回の後向きパスから構成される。
• 理論的性能は、レイヤー数が固定され、重み行列が直交不変分布に従ってサイズが増大する大システム極限において検証される。

実験結果

リサーチクエスチョン

• RQ1 高次元漸近的条件下で、メッセージパッシングアルゴリズムがレプリカ理論によって予測された最適な平均二乗誤差を達成できるか？
• RQ2 標準AMPとは異なり、高条件数行列を有する場合でもML-VAMPは収束性と精度を維持できるか？
• RQ3 画像補完タスクにおいて、ML-VAMPはMAPやSGLDと比較して再構成精度および収束速度の点で優れているか？
• RQ4 固定レイヤー数とランダムで直交不変な重み行列を有する高次元極限において、ML-VAMPの平均二乗誤差を正確に予測できるか？
• RQ5 ReLUおよびシグモイド活性化関数を有するMNISTのような実世界データにML-VAMPを適用した場合の性能はいかがなものか？

主な発見

• ML-VAMP は、固定レイヤー数とランダムで直交不変な重み行列を有する高次元極限において、レプリカ理論で予測された最適な平均二乗誤差を達成する。
• 条件数 κ=10 の高条件数行列を有するシミュレーションにおいて、ML-VAMP は収束し、低誤差を維持するが、標準AMPは同様の条件下で失敗する。
• MNIST の補完タスクにおいて、ML-VAMP はMAP や SGLD よりも再構成精度が高く、10〜20反復後により低い正規化NMSEを達成する。
• アルゴリズムは高速に収束し、MNIST 実験では約10反復で良好な性能が観察される。
• シグモイド出力層に対してプロビット近似を用いることで、性能の著しい損失を伴わず解析的取り扱いが可能になる。
• アスキムトート的状態において、ML-VAMP の NMSE は理論的に正確に予測可能であり、その解析的枠組みの妥当性が裏付けられる。