[논문 리뷰] Distribution-Specific Hardness of Learning Neural Networks

Ohad Shamir|arXiv (Cornell University)|2016. 09. 05.

Stochastic Gradient Optimization Techniques참고 문헌 12인용 수 23

한 줄 요약

이 논문은 경사 기반 방법을 사용한 얕은 ReLU 신경망의 학습 가능성에 대해 입력 분포나 타겟 함수에 대한 가정이 타당한 학습 가능성을 보장할 수 있는지 조사한다. 연구 결과, '좋은' 입력 분포나 '좋은' 타겟 함수만으로는 학습 가능성 보장을 확보할 수 없으며, 표준 최적화 히وري스틱을 적용할 경우 여전히 계산적으로 어려움을 겪을 수 있음을 입증한다.

ABSTRACT

Although neural networks are routinely and successfully trained in practice using simple gradient-based methods, most existing theoretical results are negative, showing that learning such networks is difficult, in a worst-case sense over all data distributions. In this paper, we take a more nuanced view, and consider whether specific assumptions on the "niceness" of the input distribution, or "niceness" of the target function (e.g. in terms of smoothness, non-degeneracy, incoherence, random choice of parameters etc.), are sufficient to guarantee learnability using gradient-based methods. We provide evidence that neither class of assumptions alone is sufficient: On the one hand, for any member of a class of "nice" target functions, there are difficult input distributions. On the other hand, we identify a family of simple target functions, which are difficult to learn even if the input distribution is "nice". To prove our results, we develop some tools which may be of independent interest, such as extending Fourier-based hardness techniques developed in the context of statistical queries \cite{blum1994weakly}, from the Boolean cube to Euclidean space and to more general classes of functions.

연구 동기 및 목표

• 입력 분포나 타겟 함수에 대한 자연스러운 가정이 신경망 학습의 계산적 타당성에 기여할 수 있는지 이해하기.
• 실제적인 분포 및 기능적 가정 하에서 표준 경사 기반 최적화 방법이 얕은 ReLU 네트워크를 성공적으로 학습시킬 수 있는지 조사하기.
• 선형 변환에 대한 불변성 또는 입력 분포의 매끄러움이 신경망 학습의 어려움을 제거할 수 있는지 판단하기.
• 손실 함수의 기하학적 성질—예를 들어 기울기 신호의 부재—가 나쁜 국소 최소값이 없더라도 학습을 방해할 수 있는지 탐색하기.

제안 방법

• 학습 문제를 알려진 어려운 문제로 환원: 반평면의 교차를 학습하는 문제로 환원하여, 불변 알고리즘이 악성 사례와 평균 사례를 구분할 수 없음을 보임.
• 불리안 큐브에서 유도된 푸리에 기반 기법을 유클리드 공간으로 확장하여 손실 함수의 스펙트럼 성질과 기울기 정보를 분석함.
• 통계적 질의 프레임워크를 적용하여, 선형 변환에 대해 불변인 알고리즘이 모든 입력 분포에서 특정 타겟 함수를 학습할 수 없음을 보임.
• 주기적인 $\psi$를 가진 형태의 타겟 함수 $\mathbf{x} \mapsto \psi(\langle\mathbf{w},\mathbf{x}\rangle)$에 대해 목적 함수의 기울기를 분석하여, 기울기가 거의 신호를 담고 있지 않음을 보임.
• 체비셰프 부등식과 분산 한계를 활용하여, 특정 조건 하에서 반복 최적화에서 오рак루 응답이 진짜 타겟 함수와 독립적이며, 이는 정보 유출이 없음을 증명함.
• 진짜 기울기와 경험적 기울기 간의 기대값 불일치를 분석하는 프레임워크를 도입하여, 작은 분산은 타겟에 대한 정보 유출이 없음을 의미함.

실험 결과

연구 질문

• RQ1 입력 분포가 매끄럽고 비퇴화된 경우, 표준 경사 기반 방법이 얕은 ReLU 네트워크를 학습할 수 있는가?
• RQ2 타겟 함수가 단순하고 잘 조율된 경우(예: 매개수 기반으로 무작위처럼 보이거나 매끄럽다면), 학습 가능성은 보장되는가?
• RQ3 선형 변환에 대해 불변인 알고리즘(예: 화이트닝 또는 전처리를 포함한 알고리즘)이 특정 타겟 함수 학습에서 여전히 계산적 어려움을 겪는가?
• RQ4 손실 함수의 기하학적 성질—예를 들어 평탄함 또는 기울기 신호 부재—가 허구적 국소 최소값이 없더라도 학습을 방해할 수 있는가?
• RQ5 목적 함수의 기울기가 기저 타겟 함수에 대한 정보를 전달하지 못하는 조건는 무엇인가?

주요 결과

• 얕은 ReLU 네트워크의 클래스에 속하는 고정된 단순 타겟 함수에 대해, 어떤 입력 분포에서도 선형 불변 알고리즘이 다항 시간 내에 이를 학습할 수 없는 경우가 존재한다.
• 과잉 지정과 비정확한 학습 조건이 존재하더라도, 주기적인 $\psi$를 가진 형태의 타겟 함수 $\mathbf{x} \mapsto \psi(\langle\mathbf{w},\mathbf{x}\rangle)$는 입력 분포가 가우시안 또는 가우시안 혼합분포일지라도 경사 기반 방법으로는 학습되지 않는다.
• 이러한 주기적 함수의 목적 함수 기울기는 타겟 함수에 대한 거의 모든 신호를 담고 있지 않아, 표준 경사 기반 방법으로는 최적화가 불가능하다.
• 어려움은 국소 최소값이나 안장점 때문이 아니라, 거의 전역적으로 평탄하고 정보가 없는 손실 함수의 기하학적 구조에서 기인한다.
• 기울기 추정치의 분산이 작을 경우, 선형 변환에 대해 불변인 알고리즘은 진짜 타겟 함수 $\mathbf{w}^\star$에 대한 정보를 추출할 수 없으며, 이는 체비셰프 부등식과 오라클 기반 분석을 통해 입증된다.
• 분석은 불리안 큐브에서 유도된 푸리에 기반의 어려움 기법을 유클리드 공간으로 확장하여, 연속 영역 내 일반 함수 클래스를 연구하는 데 새로운 도구를 제공한다.