[논문 리뷰] Learning Distributions Generated by One-Layer ReLU Networks

Shanshan Wu, Alexandros G. Dimakis외 1명|arXiv (Cornell University)|2019. 09. 04.

Neural Networks and Applications인용 수 8

한 줄 요약

이 논문은 비선형성 가중치 벡터가 비음이 아님을 전제로, i.i.d. 표본으로부터 일층 ReLU 신경망의 매개변수를 증명 가능하게 효율적으로 추정하는 알고리즘을 제안한다. 이 알고리즘은 잘린 표본 추정을 통해 편향과 행렬의 노름을 별도로 추정하고, 기하학적 성질을 이용해 가중치 벡터 간의 쌍별 각도를 추정하며, 매개변수 추정의 표본 복잡도를 $\widetilde{O}(1/\epsilon^2)$로, 전체 변동 거리의 추정에 대해 $\widetilde{O}(\kappa^2 d^2 / \epsilon^2)$로 달성한다. 최적성은 표본 복잡도 하한선을 통해 증명된다.

ABSTRACT

We consider the problem of estimating the parameters of a $d$-dimensional rectified Gaussian distribution from i.i.d. samples. A rectified Gaussian distribution is defined by passing a standard Gaussian distribution through a one-layer ReLU neural network. We give a simple algorithm to estimate the parameters (i.e., the weight matrix and bias vector of the ReLU neural network) up to an error $ε||W||_F$ using $ ilde{O}(1/ε^2)$ samples and $ ilde{O}(d^2/ε^2)$ time (log factors are ignored for simplicity). This implies that we can estimate the distribution up to $ε$ in total variation distance using $ ilde{O}(κ^2d^2/ε^2)$ samples, where $κ$ is the condition number of the covariance matrix. Our only assumption is that the bias vector is non-negative. Without this non-negativity assumption, we show that estimating the bias vector within any error requires the number of samples at least exponential in the infinity norm of the bias vector. Our algorithm is based on the key observation that vector norms and pairwise angles can be estimated separately. We use a recent result on learning from truncated samples. We also prove two sample complexity lower bounds: $Ω(1/ε^2)$ samples are required to estimate the parameters up to error $ε$, while $Ω(d/ε^2)$ samples are necessary to estimate the distribution up to $ε$ in total variation distance. The first lower bound implies that our algorithm is optimal for parameter estimation. Finally, we show an interesting connection between learning a two-layer generative model and non-negative matrix factorization. Experimental results are provided to support our analysis.

연구 동기 및 목표

• GAN 및 VAE와 같은 깊은 생성 모델에서 증명 가능한 표본 복잡도와 일반화 보장을 부족하게 하는 문제를 해결하기 위해.
• 생성된 직선화된 가우시안 분포의 i.i.d. 표본으로부터 일층 ReLU 네트워크의 매개변수(가중치 행렬 $W$와 편향 벡터 $b$)를 학습하는 문제를 연구하기 위해.
• 총변동 거리 기준으로 매개변수 추정 및 분포 추정에 대해 최적의 표본 복잡도 한계를 설정하기 위해.
• 이중층 생성 모델과 비음행렬 분해(NMF) 간의 연결 고리를 탐색하기 위해.
• 편향 벡터에 대한 비음성 가정의 필요성과 그 표본 복잡도에 대한 영향을 분석하기 위해.

제안 방법

• 알고리즘은 최근의 잘린 표본 학습 결과를 활용하여 편향 벡터 $b$와 가중치 행렬 $W$의 행 벡터의 노름을 추정한다 (알고리즘 2).
• 기하학적 사실(사실 10)을 이용해 ReLU 출력의 기대값 비율과 행렬의 행 간의 각도 사이의 관계를 활용하여, $W$의 행 간의 쌍별 각도를 추정한다.
• 벡터의 노름과 각도 추정을 분리함으로써 효율적이고 안정적인 매개변수 복원이 가능해진다.
• 이중층 모델의 경우, 비음행렬 분해(NMF)의 분리 가능성 조건을 활용하여 상층 가중치 행렬 $A^*$를 복원한다.
• 알고리즘은 두 단계 과정을 사용한다: 첫째, 잘린 표본으로부터 $b$와 $\|W(i,:) Vert_2$를 추정하고, 둘째, ReLU 곱의 경험 기대값을 이용해 $W$의 행 간의 각도를 추정한다.
• 이론적 분석은 농도 부등식과 다변량 정규분포의 잘린 분포 성질에 기반한다.

실험 결과

연구 질문

• RQ1 편향 벡터에 대한 비음성 가정 하에, i.i.d. 표본으로부터 일층 ReLU 생성 모델의 매개변수를 증명 가능하게 추정할 수 있는가?
• RQ2 오차 $\epsilon$ 이내로 매개변수 $W$와 $b$를 추정하기 위한 최적의 표본 복잡도는 무엇인가?
• RQ3 총변동 거리 기준으로 전체 분포를 $\epsilon$ 이내로 추정하기 위해 필요한 표본 복잡도는 무엇인가?
• RQ4 왜 편향 벡터에 대한 비음성 가정이 필수적인가? 이 조건이 위반되면 어떤 일이 발생하는가?
• RQ5 이중층 ReLU 생성 모델의 구조를 비음행렬 분해(NMF)를 통해 활용하여 매개변수 복원이 가능한가?

주요 결과

• 제안된 알고리즘은 프로베니우스 노름 기준으로 오차 $\epsilon\|W\|_F$ 이내로 $W$와 $b$를 추정할 때 $\widetilde{O}(1/\epsilon^2)$의 표본 복잡도를 달성하며, 시간 복잡도는 $\widetilde{O}(d^2/\epsilon^2)$이다.
• 매개변수 추정에 대해 최적임이 입증되었으며, $\Omega(1/\epsilon^2)$의 표본이 필수적이며, 로그 요소를 제외한 상한과 일치한다.
• 총변동 거리 기준으로 분포 추정을 위해 $\widetilde{O}(\kappa^2 d^2 / \epsilon^2)$의 표본이 필요하며, 여기서 $\kappa$는 $WW^T$의 조건수이다.
• 편향 벡터에 대한 비음성 가정이 없을 경우, 매개변수 추정에 $\Omega(\exp(\|b\|_\infty^2))$의 표본이 필요하여 지수적 표본 비용이 발생한다.
• 혼합 행렬 $M$이 분리 가능성 조건을 만족할 경우, 이중층 ReLU 모델에서 알고리즘은 상층 가중치 행렬 $A^*$를 성공적으로 복원하며, 표본 크기가 증가할수록 경험적 성공률이 증가한다.
• 경험적 결과는 차원 $d$, 조건수 $\kappa$, 오차 $\epsilon$ 에 따른 이론적 표본 복잡도 의존성과 일관되게 일치함을 검증한다.