[论文解读] Learning Distributions Generated by One-Layer ReLU Networks

Shanshan Wu, Alexandros G. Dimakis+1 more|arXiv (Cornell University)|Sep 4, 2019

Neural Networks and Applications被引用 8

一句话总结

该论文提出了一种可证明高效的算法，用于在偏差向量非负的假设下，从独立同分布样本中估计生成分段高斯分布的一层 ReLU 神经网络的参数。该方法通过截断样本估计分别估计偏差和权重矩阵行向量的范数，并利用几何性质估计权重向量之间的成对夹角，实现了参数估计的样本复杂度为 $ frac{1}{ ilde{O}( ilde{ heta}^2)}$，总变差距离估计的样本复杂度为 $ frac{1}{ ilde{O}( ilde{ heta}^2 d^2 / ilde{ heta}^2)}$，并通过样本复杂度下界证明了最优性。

ABSTRACT

We consider the problem of estimating the parameters of a $d$-dimensional rectified Gaussian distribution from i.i.d. samples. A rectified Gaussian distribution is defined by passing a standard Gaussian distribution through a one-layer ReLU neural network. We give a simple algorithm to estimate the parameters (i.e., the weight matrix and bias vector of the ReLU neural network) up to an error $ε||W||_F$ using $ ilde{O}(1/ε^2)$ samples and $ ilde{O}(d^2/ε^2)$ time (log factors are ignored for simplicity). This implies that we can estimate the distribution up to $ε$ in total variation distance using $ ilde{O}(κ^2d^2/ε^2)$ samples, where $κ$ is the condition number of the covariance matrix. Our only assumption is that the bias vector is non-negative. Without this non-negativity assumption, we show that estimating the bias vector within any error requires the number of samples at least exponential in the infinity norm of the bias vector. Our algorithm is based on the key observation that vector norms and pairwise angles can be estimated separately. We use a recent result on learning from truncated samples. We also prove two sample complexity lower bounds: $Ω(1/ε^2)$ samples are required to estimate the parameters up to error $ε$, while $Ω(d/ε^2)$ samples are necessary to estimate the distribution up to $ε$ in total variation distance. The first lower bound implies that our algorithm is optimal for parameter estimation. Finally, we show an interesting connection between learning a two-layer generative model and non-negative matrix factorization. Experimental results are provided to support our analysis.

研究动机与目标

• 解决 GAN 和 VAE 等深度生成模型中缺乏可证明的样本复杂度与泛化保证的问题。
• 研究从生成的分段高斯分布的独立同分布样本中学习一层 ReLU 网络参数（权重矩阵 $W$ 和偏差向量 $b$）的问题。
• 为参数估计和总变差距离下的分布估计建立最优样本复杂度边界。
• 探索两层生成模型与非负矩阵分解（NMF）之间的联系。
• 分析偏差向量非负性假设的必要性及其对样本复杂度的影响。

提出的方法

• 该算法利用近期关于从截断样本中学习的结果（算法 2），估计偏差向量 $b$ 和权重矩阵 $W$ 的行范数。
• 利用一个几何事实（引理 10）估计 $W$ 的行之间的成对夹角，该事实将夹角与 ReLU 输出的期望值之比关联起来。
• 该方法将向量范数与夹角的估计解耦，从而实现高效且稳定的参数恢复。
• 对于两层模型，该算法利用非负矩阵分解（NMF）中的可分性条件，恢复顶层权重矩阵 $A^*$。
• 该算法采用两步过程：首先从截断样本中估计 $b$ 和 $\|W(i,:) Vert_2$，然后利用 ReLU 输出乘积的经验期望估计 $W$ 行之间的夹角。
• 理论分析依赖于集中不等式和截断ReLU激活下多元正态分布的性质。

实验结果

研究问题

• RQ1 在偏差向量的非负性假设下，我们能否可证明地从独立同分布样本中估计一层 ReLU 生成模型的参数？
• RQ2 在给定误差 $\epsilon$ 下，估计参数 $W$ 和 $b$ 的最优样本复杂度是多少？
• RQ3 在总变差距离下估计完整分布至 $\epsilon$ 所需的样本复杂度是多少？
• RQ4 为何对 $b$ 的非负性假设是必要的？若该假设被违反，会发生什么？
• RQ5 能否通过非负矩阵分解利用两层 ReLU 生成模型的结构来实现参数恢复？

主要发现

• 所提算法在 Frobenius 范数下以误差 $\epsilon\|W\|_F$ 估计 $W$ 和 $b$ 的样本复杂度为 $\widetilde{O}(1/\epsilon^2)$，时间复杂度为 $\widetilde{O}(d^2/\epsilon^2)$。
• 该算法在参数估计方面是最优的，因为 $\Omega(1/\epsilon^2)$ 个样本是必需的，与上界仅在对数因子上存在差异。
• 在总变差距离下进行分布估计，需要 $\widetilde{O}(\kappa^2 d^2 / \epsilon^2)$ 个样本，其中 $\kappa$ 是 $WW^T$ 的条件数。
• 若无对 $b$ 的非负性假设，参数估计将需要 $\Omega(\exp(\|b\|_\infty^2))$ 个样本，表明样本成本呈指数级增长。
• 当混合矩阵 $M$ 满足可分性条件时，该算法在两层 ReLU 模型中成功恢复了顶层权重矩阵 $A^*$，且随着样本量增加，实验成功率提高。
• 实验结果验证了理论样本复杂度对维度 $d$、条件数 $\kappa$ 和误差 $\epsilon$ 的依赖关系，表明其性能与理论预测一致。