[논문 리뷰] Representation Learning and Recovery in the ReLU Model

Arya Mazumdar, Ankit Singh Rawat|arXiv (Cornell University)|2018. 03. 12.

Machine Learning and Algorithms참고 문헌 15인용 수 3

한 줄 요약

이 논문은 무작위 편향을 가진 단일층 ReLU 신경망 모델에서 표현 학습과 강건한 신호 복원을 연구한다. 중량 행렬의 열공간이 O(d)의 프로베니우스 노름 오차 내에서 복원될 수 있음을 증명하며, 일반화된 LASSO 알고리즘이 가우시안 설계 조건 하에서 조건부로 ℓ₂ 복원 오차가 O(√((k+s)log d)/d)임을 보인다. 이는 희박한 이상치와 조밀한 노이즈가 존재하는 상황에서도 성립한다.

ABSTRACT

Rectified linear units, or ReLUs, have become the preferred activation function for artificial neural networks. In this paper we consider two basic learning problems assuming that the underlying data follow a generative model based on a ReLU-network -- a neural network with ReLU activations. As a primarily theoretical study, we limit ourselves to a single-layer network. The first problem we study corresponds to dictionary-learning in the presence of nonlinearity (modeled by the ReLU functions). Given a set of observation vectors $\mathbf{y}^i \in \mathbb{R}^d, i =1, 2, \dots , n$, we aim to recover $d imes k$ matrix $A$ and the latent vectors $\{\mathbf{c}^i\} \subset \mathbb{R}^k$ under the model $\mathbf{y}^i = \mathrm{ReLU}(A\mathbf{c}^i +\mathbf{b})$, where $\mathbf{b}\in \mathbb{R}^d$ is a random bias. We show that it is possible to recover the column space of $A$ within an error of $O(d)$ (in Frobenius norm) under certain conditions on the probability distribution of $\mathbf{b}$. The second problem we consider is that of robust recovery of the signal in the presence of outliers, i.e., large but sparse noise. In this setting we are interested in recovering the latent vector $\mathbf{c}$ from its noisy nonlinear sketches of the form $\mathbf{v} = \mathrm{ReLU}(A\mathbf{c}) + \mathbf{e}+\mathbf{w}$, where $\mathbf{e} \in \mathbb{R}^d$ denotes the outliers with sparsity $s$ and $\mathbf{w} \in \mathbb{R}^d$ denote the dense but small noise. This line of work has recently been studied (Soltanolkotabi, 2017) without the presence of outliers. For this problem, we show that a generalized LASSO algorithm is able to recover the signal $\mathbf{c} \in \mathbb{R}^k$ within an $\ell_2$ error of $O(\sqrt{\frac{(k+s)\log d}{d}})$ when $A$ is a random Gaussian matrix.

연구 동기 및 목표

• ReLU 비선형성 하에서 사전학습 문제를 다루기 위해 관측값이 y^i = ReLU(A c^i + b)임을 가정하며, 이때 편향 b는 무작위이다.
• 비선형 스케치에 희박한 이상치 e와 조밀한 노이즈 w가 첨가된 관측값 v = ReLU(A c) + e + w로부터 잠재 벡터 c의 강건한 복원을 연구한다.
• 단일층 네트워크를 사용하는 생성적 ReLU 모델 하에서 표현 복원과 신호 복원에 대한 이론적 보장을 수립한다.
• 특히 연상 기억과 비선형 스케칭의 맥락에서, ReLU 기반 생성 모델의 이론적 이해를 확장한다.
• 비선형성(ReLU), 무작위 편향, 노이즈 간의 상호작용을 고차원 점근 해석에서 분석한다.

제안 방법

• 잠재 벡터의 비선형 스케치를 ReLU 활성화된 선형 변환과 무작위 편향 b를 통해 생성하는 생성 모델을 사용한다.
• 비선형 스케치 v = ReLU(A c) + e + w로부터 잠재 벡터 c를 복원하기 위해 일반화된 LASSO 설정을 적용한다. 이때 이상치 e는 스파스성 s를 가진다.
• 이차형식 ‖A h + f‖²₂의 하한을 구하기 위해, 이중 증명자 접근법과 제한된 강력한 볼록성 조건을 활용하여 LASSO 해의 추정 오차를 경계한다.
• A가 i.i.d. 가우시안 행렬임을 가정하고, 농도 불등식을 사용하여 오차의 확률적 경계를 유도한다.
• 가능한 해 공간을 기술하기 위해 제한된 집합 R을 도입하고, 보조정리 3을 활용하여 이차형식 ‖A h + f‖²₂의 하한을 구한다.
• 이중 노름과 노이즈 항의 경계를 조합하여 c의 복원에 대한 최종 ℓ₂ 오차 경계를 유도한다.

실험 결과

연구 질문

• RQ1 편향 b가 무작위일 때, 관측값 y^i = ReLU(A c^i + b)로부터 중량 행렬 A의 열공간을 복원할 수 있는가?
• RQ2 관측값이 희박한 이상치와 조밀한 노이즈에 의해 오염되었을 때, 잠재 벡터 c의 복원에 대한 기본 한계는 무엇인가?
• RQ3 고차원 설정에서 ReLU에 의해 유도된 비선형성이 복원 성능에 어떤 영향을 미치는가?
• RQ4 일반화된 LASSO 접근법은 ReLU 기반 스케치에서 희박한 노이즈와 조밀한 노이즈를 동시에 고려할 때 일관된 복원을 달성할 수 있는가?
• RQ5 편향 분포와 설계 행렬 A에 어떤 조건이 성립해야 표현 학습과 신호 복원이 안정적이고 정확하게 이루어지는가?

주요 결과

• 편향 분포에 대한 온건한 조건 하에서, 중량 행렬 A의 열공간은 O(d)의 프로베니우스 노름 오차 내에서 복원될 수 있다.
• 강건한 복원을 위해 일반화된 LASSO 알고리즘이 A가 무작위 가우시안 행렬일 경우 ℓ₂ 오차 경계로 O(√((k + s) log d)/d)를 달성한다.
• 비선형성에 기인한 노이즈의 오차 경계는 √(k log k / d) 비례하고, 희박한 이상치에 기인한 오차 경계는 √(s log d / d) 비례하며, 이는 잠재 차원과 희박성 간의 상충 관계를 반영한다.
• 측정 수 d가 k와 s에 대해 충분히 크다면, 고차원 점근 해석 하에서 복원 오차는 안정적이며, 높은 확률로 성립한다.
• 이 분석은 이중 증명자 방법이 ReLU 활성화를 가진 비선형 모델에 적응 가능하다는 것을 입증하며, 비볼록 스케칭에 대한 이론적 보장을 가능하게 한다.
• 노이즈 ∥w∥∞ ≤ δ 이고 A가 i.i.d. 가우시안일 경우, 이 경계는 높은 확률로 성립하며, 조밀하지만 유계인 노이즈에 대한 강건성을 보장한다.