[논문 리뷰] Time/Accuracy Tradeoffs for Learning a ReLU with respect to Gaussian Marginals

Surbhi Goel, Sushrut Karmalkar외 1명|arXiv (Cornell University)|2019. 11. 04.

Blind Source Separation Techniques인용 수 17

한 줄 요약

이 논문은 가우시안 조건부 분포 하에서 제곱 손실에 대해 레이저 유닛(ReLU)을 학습하는 데 있어 첫 번째 계산적 난이도 결과를 확립한다. 이는 $\mathsf{opt} + \epsilon$ 이내의 오차를 달성하는 것은 노이즈가 있는 희소 파리티 학습을 하는 것과 동일한 난이도를 가진다는 것을 보여주며, 이는 경사 하강법이 다항 시간 내에 전역 최소값으로 수렴할 수 없다는 것을 의미한다. 또한, $0/1$ 손실을 사용한 노이즈 있는 반공간 학습으로의 새로운 감소를 통해 다항 시간 알고리즘이 $O(\mathsf{opt}^{2/3}) + \epsilon$ 오차를 달성함을 제시한다.

ABSTRACT

We consider the problem of computing the best-fitting ReLU with respect to square-loss on a training set when the examples have been drawn according to a spherical Gaussian distribution (the labels can be arbitrary). Let $\mathsf{opt} < 1$ be the population loss of the best-fitting ReLU. We prove: 1. Finding a ReLU with square-loss $\mathsf{opt} + ε$ is as hard as the problem of learning sparse parities with noise, widely thought to be computationally intractable. This is the first hardness result for learning a ReLU with respect to Gaussian marginals, and our results imply -{\emph unconditionally}- that gradient descent cannot converge to the global minimum in polynomial time. 2. There exists an efficient approximation algorithm for finding the best-fitting ReLU that achieves error $O(\mathsf{opt}^{2/3})$. The algorithm uses a novel reduction to noisy halfspace learning with respect to $0/1$ loss. Prior work due to Soltanolkotabi [Sol17] showed that gradient descent can find the best-fitting ReLU with respect to Gaussian marginals, if the training set is exactly labeled by a ReLU.

연구 동기 및 목표

• 가우시안 분포 입력 하에서 제곱 손실에 대해 레이저 유닛(ReLU)을 학습하는 데 있어 계산 복잡도를 조사하는 것, 특히 레이블 노이즈가 존재할 경우에 초점 맞추기.
• 특히 애그노스틱(노이즈 있는) 설정에서 최적의 $\mathsf{opt}$에 가까운 오차를 달성할 수 있는 다항 시간 알고리즘이 존재하는지 확인하는 것.
• 가우시안 조건부 분포 하에서 레이저 유닛(ReLU)을 학습하기 위한 새로운 근사 알고리즘을 개발하여 증명 가능한 오차 한계를 확보하는 것.
• 이전 연구에서 경사 하강법을 사용해 ReLU 학습을 할 때 필수적인 노이즈 없는(실현 가능한) 가정이 왜 필요했는지 규명하는 것.

제안 방법

• 가우시안 조건부 분포 하에서 레이저 유닛(ReLU)을 학습하는 문제를 노이즈가 있는 희소 파리티 학습 문제로 감소시켜, 표준 가정 하에서 계산 난이도를 확립한다.
• 학습 데이터를 불리안 레이블링 문제로 변환하는 새로운 변환 기법을 사용하여, $0/1$ 손실 하에서 반공간을 애그노스틱하게 학습하는 문제로 감소시킨다.
• 레이저 유닛 함수의 헤르미트 전개 분석을 통해 정량적 상관관계 한계를 유도하며, 레이저 유닛에 대해 알려진 푸리에 계수 공식이 없음에도 이를 극복한다.
• 마르코프 부등식과 기하적 농도를 적용하여 최적의 레이저 유닛에서 $\alpha$-근접하지 않은 점의 비율을 제한함으로써 오차 분석을 가능하게 한다.
• 기존의 $0/1$ 손실 하에서 애그노스틱 반공간 학습 알고리즘을 활용하여 최적의 $\mathbf{w}^*$에 가까운 가중치 벡터 $\mathbf{w}$를 복구하며, 각도와 $L^2$-노름 간의 관계를 통해 오차 한계를 유도한다.
• 근사 오차와 노이즈 사이의 트레이드오프를 최적화하기 위해 $\alpha = \mathsf{opt}^{1/3}$로 설정함으로써 최종적으로 $O(\mathsf{opt}^{2/3})$ 오차 한계를 도출한다.

실험 결과

연구 질문

• RQ1 입력 분포가 가우시안이고 레이블이 노이즈가 있을 때, 오차 $\mathsf{opt} + \epsilon$로 레이저 유닛(ReLU)을 학습하는 것이 계산적으로 어려운가?
• RQ2 애그노스틱 설정 하에서 가우시안 조건부 분포 하에서 레이저 유닛(ReLU) 학습에 대해 경사 하강법이 다항 시간 내에 전역 최소값으로 수렴할 수 있는가?
• RQ3 가우시안 조건부 분포 하에서 다항 시간 내에 레이저 유닛(ReLU)을 학습할 수 있는 최선의 근사 오차는 무엇인가?
• RQ4 근사 오차는 최적 손실 $\mathsf{opt}$에 어떻게 의존하며, $O(\mathsf{opt}^{2/3})$를 초월해 개선할 수 있는가?
• RQ5 레이저 유닛 모델의 편향이 미치는 영향은 무엇이며, 왜 이전의 긍정적인 결과들은 비편향 레이저 유닛을 가정했는가?

주요 결과

• 오차 $\mathsf{opt} + \epsilon$로 레이저 유닛(ReLU)을 찾는 것은 노이즈가 있는 희소 파리티 학습을 하는 것과 동일한 난이도를 가지며, 이는 표준 복잡도 가정 하에 다항 시간 알고리즘이 존재하지 않음을 의미한다.
• 애그노스틱 설정 하에서 가우시안 조건부 분포 하에서 레이저 유닛(ReLU) 학습에 대해 경사 하강법이 다항 시간 내에 전역 최소값으로 수렴할 수 없다. 이는 표준 복잡도 가정이 없더라도 성립한다.
• 오차 $O(\mathsf{opt}^{2/3}) + \epsilon$을 달성하는 다항 시간 알고리즘이 존재하며, 이는 이 문제에 대해 처음으로 비트리비얼한 근사 보장을 제공한다.
• 근사 알고리즘은 $0/1$ 손실 하에서 애그노스틱 반공간 학습으로의 새로운 감소에 기반하며, 기하적 농도와 $L^2$-노름 한계를 사용한 오차 분석을 수행한다.
• 오차 한계의 지수 $2/3$는 평균화 주장과 분석에서 최적의 선택인 $\alpha = \mathsf{opt}^{1/3}$에서 유래된다.
• 상수 함수 $1/2$는 어떤 비편향 레이저 유닛보다도 낮은 제곱 손실을 달성할 수 있으며, 이는 이전 연구와 본 논문 결과에서 비편향 가정이 왜 중요한지 보여준다.