[論文レビュー] Learning Distributions Generated by One-Layer ReLU Networks

Shanshan Wu, Alexandros G. Dimakis+1 more|arXiv (Cornell University)|Sep 4, 2019

Neural Networks and Applications被引用数 8

ひとこと要約

本稿では、i.i.d.標本から正則化ガウス分布を生成する1層のReLUニューラルネットワークのパラメータ推定に対して、証明可能に効率的なアルゴリズムを提案する。その際、バイアスベクトルが非負であるという仮定を置く。本手法は、切断された標本推定を用いてバイアスと行ノルムを別々に推定し、幾何的性質を用いて重みベクトル間のペアワイズな角度を推定する。パラメータ推定のための標本複雑度は$\widetilde{O}(1/\epsilon^2)$、全変動距離の推定のための標本複雑度は$\widetilde{O}(\kappa^2 d^2 / \epsilon^2)$を達成し、標本複雑度の下界による最適性が証明されている。

ABSTRACT

We consider the problem of estimating the parameters of a $d$-dimensional rectified Gaussian distribution from i.i.d. samples. A rectified Gaussian distribution is defined by passing a standard Gaussian distribution through a one-layer ReLU neural network. We give a simple algorithm to estimate the parameters (i.e., the weight matrix and bias vector of the ReLU neural network) up to an error $ε||W||_F$ using $ ilde{O}(1/ε^2)$ samples and $ ilde{O}(d^2/ε^2)$ time (log factors are ignored for simplicity). This implies that we can estimate the distribution up to $ε$ in total variation distance using $ ilde{O}(κ^2d^2/ε^2)$ samples, where $κ$ is the condition number of the covariance matrix. Our only assumption is that the bias vector is non-negative. Without this non-negativity assumption, we show that estimating the bias vector within any error requires the number of samples at least exponential in the infinity norm of the bias vector. Our algorithm is based on the key observation that vector norms and pairwise angles can be estimated separately. We use a recent result on learning from truncated samples. We also prove two sample complexity lower bounds: $Ω(1/ε^2)$ samples are required to estimate the parameters up to error $ε$, while $Ω(d/ε^2)$ samples are necessary to estimate the distribution up to $ε$ in total variation distance. The first lower bound implies that our algorithm is optimal for parameter estimation. Finally, we show an interesting connection between learning a two-layer generative model and non-negative matrix factorization. Experimental results are provided to support our analysis.

研究の動機と目的

• GAN や VAE などの深層生成モデルにおいて、証明可能な標本複雑度と一般化保証が不足している問題に対処すること。
• 生成された正則化ガウス分布のi.i.d.標本から1層ReLUネットワークのパラメータ（重み行列$W$とバイアスベクトル$b$）を学習する問題を調査すること。
• 全変動距離におけるパラメータ推定と分布推定の両方の最適な標本複雑度バウンドを確立すること。
• 2層生成モデルと非負行列分解（NMF）との関連を調査すること。
• バイアスベクトルの非負性仮定の必要性と、標本複雑度に与える影響を分析すること。

提案手法

• アルゴリズムは、最近の切断標本からの学習に関する結果（アルゴリズム2）を用いて、バイアスベクトル$b$と重み行列$W$の行ノルムを推定する。
• 幾何的事実（事実10）を用いて、ReLU出力の期待値の比と重みベクトル間の角度の関係を推定する。
• ベクトルのノルムと角度の推定を分離することで、効率的かつ安定したパラメータ回復が可能になる。
• 2層モデルの場合、非負行列分解（NMF）における分離性条件を活用して、トップ層重み行列$A^*$を回復する。
• 2段階のプロセスを用いる：まず、切断標本から$b$と$\|W(i,:) Vert_2$を推定し、次にReLU積の経験的期待値を用いて$W$の行間の角度を推定する。
• 理論的分析は、集中不等式と多変量正規分布のReLU活性化による切断された性質に依存する。

実験結果

リサーチクエスチョン

• RQ1 バイアスベクトルに非負性仮定を置いたもとで、i.i.d.標本から1層ReLU生成モデルのパラメータを証明可能に推定できるか？
• RQ2 パラメータ$W$と$b$を誤差$\epsilon$以内に推定するための最適な標本複雑度は何か？
• RQ3 全変動距離で$\epsilon$以内に分布を推定するための標本複雑度は何か？
• RQ4 バイアスベクトルの非負性仮定はなぜ必要で、仮定が満たされない場合、何が起こるか？
• RQ5 2層ReLU生成モデルの構造を非負行列分解（NMF）を用いて活用し、パラメータ回復に応用できるか？

主な発見

• 提案されたアルゴリズムは、Frobeniusノルムで$\epsilon\|W\|_F$以内の誤差で$W$と$b$を推定する際、$\widetilde{O}(1/\epsilon^2)$の標本複雑度を達成し、時間計算量は$\widetilde{O}(d^2/\epsilon^2)$である。
• パラメータ推定において本アルゴリズムは最適であり、$\Omega(1/\epsilon^2)$の標本数が必要であることが示され、対数要因を除いて上界と一致する。
• 全変動距離における分布推定には、$\widetilde{O}(\kappa^2 d^2 / \epsilon^2)$の標本数が必要であり、ここで$\kappa$は$WW^T$の条件数である。
• バイアスベクトルの非負性仮定がなければ、パラメータ推定には$\Omega(\exp(\|b\|_\infty^2))$の標本数が必要となり、指数的標本コストが生じることを示している。
• 混合行列$M$が分離性条件を満たす場合、2層ReLUモデルにおいて本アルゴリズムはトップ層重み行列$A^*$を効果的に回復することができ、標本サイズが増えるに従い、実験的成功率が向上する。
• 実験的結果は、次元$d$、条件数$\kappa$、誤差$\epsilon$に対する理論的標本複雑度依存性を妥当に裏付け、理論と一貫した性能を示している。