[논문 리뷰] On the Complexity of Learning Neural Networks

Le Song, Santosh Vempala외 2명|arXiv (Cornell University)|2017. 07. 14.

Stochastic Gradient Optimization Techniques참고 문헌 2인용 수 24

한 줄 요약

이 논문은 매끄러운 활성화 함수(예: ReLU, 시그모이드)를 갖는 한 층의 신경망을 학습하는 데 필요한 복잡도에 대한 기본 하한을 설정한다. 이는 로그-볼록 입력 분포 하에서 이루어지며, 모든 표준 SGD 변종을 포함하는 통계적 질의 알고리즘은 심지어 작고 실현 가능한 함수를 학습하는 데에도 지수적으로 많은 질의가 필요하다는 것을 증명한다. 이는 네트워크 크기가 작고, 데이터 분포가 유사한데도 불구하고 성립한다.

ABSTRACT

The stunning empirical successes of neural networks currently lack rigorous theoretical explanation. What form would such an explanation take, in the face of existing complexity-theoretic lower bounds? A first step might be to show that data generated by neural networks with a single hidden layer, smooth activation functions and benign input distributions can be learned efficiently. We demonstrate here a comprehensive lower bound ruling out this possibility: for a wide class of activation functions (including all currently used), and inputs drawn from any logconcave distribution, there is a family of one-hidden-layer functions whose output is a sum gate, that are hard to learn in a precise sense: any statistical query algorithm (which includes all known variants of stochastic gradient descent with any loss function) needs an exponential number of queries even using tolerance inversely proportional to the input dimensionality. Moreover, this hard family of functions is realizable with a small (sublinear in dimension) number of activation units in the single hidden layer. The lower bound is also robust to small perturbations of the true weights. Systematic experiments illustrate a phase transition in the training error as predicted by the analysis.

연구 동기 및 목표

• 실제로 신경망이 이론적으로 엄밀한 근거 없이도 일반화가 잘 되는 이유를 이해하기 위해.
• 매끄러운 활성화 함수와 유사한 입력을 갖는 단일 은닉층 신경망이 생성하는 함수들이 효율적으로 학습될 수 있는지 조사하기 위해.
• 통계적 질의 알고리즘(모든 알려진 기울기 기반 학습 방법을 대표함)이 이러한 함수들을 효율적으로 학습할 수 있는지 판단하기 위해.
• 매끄러운 활성화 함수와 로그-볼록 입력을 가정할 때 신경망 학습의 공식적인 복잡도 장벽을 설정하기 위해.

제안 방법

• 기울기 업데이트가 손실 도함수의 기대값에 대한 질의에 해당하므로, 신경망 학습을 통계적 질의(SQ) 문제로 공식화한다.
• Feldman 등이 일반화한 SQ 프레임워크를 적용하며, 질의 정확도와 내성에 대한 VSTAT(t) 오라클을 사용한다.
• 시그모이드 또는 ReLU 활성화 함수를 갖는 작은 한 층의 신경망으로 계산 가능한 함수의 집합을 구성한다.
• 이 함수들 간의 상관 구조가 높은 통계적 차원을 이끌어내며, 이는 지수적 질의 복잡도를 의미함을 보여준다.
• 코시-슈바르츠 부등식과 마르코프 부등식을 사용하여 각 질의로 제거할 수 있는 함수의 수를 바ounds하며, 지수 하한을 도출한다.
• 진짜 네트워크 가중치의 작은 변형에 대해서도 하한이 강건함을 증명하여 실용적 관련성을 높인다.

실험 결과

연구 질문

• RQ1 매끄러운 활성화 함수와 로그-볼록 입력을 갖는 단일 은닉층 신경망이 생성하는 함수들은 통계적 질의 알고리즘에 의해 효율적으로 학습될 수 있는가?
• RQ2 깊은 네트워크를 훈련하는 데서 SGD의 경험적 성공은 현실적인 가정 하에서 알려진 복잡도론적 하한과 모순되는가?
• RQ3 작은 한 층의 신경망으로 실현 가능한 함수 클래스를 학습하기 위해 통계적 질의 알고리즘이 필요한 최소 질의 수는 얼마인가?
• RQ4 신경망 가족 내 함수들 간의 상관 구조는 목표 함수의 학습 가능성에 어떤 영향을 미치는가?
• RQ5 진짜 네트워크 가중치의 작은 변형에 대해 딱딱한 결과가 강건한가? 이는 실제 훈련 노이즈를 반영한다.

주요 결과

• 모든 통계적 질의 알고리즘은 매끄러운 활성화 함수와 로그-볼록 입력을 갖는 한 층의 신경망 함수 집합을 학습하기 위해 지수적으로 많은 질의가 필요하다.
• 이 하한은 동일한 조건 하에서 일반적으로 사용되는 활성화 함수(ReLU, 시그모이드 포함)에 대해 모두 성립한다.
• 어려운 함수 집합은 은닉 유닛의 수가 차원에 대해 비선형적으로 작은(차원에 대해 하위선형) 수준으로도 실현 가능하므로, 복잡도가 네트워크 크기 때문이 아님을 보여준다.
• 진짜 네트워크 가중치의 작은 변형에 대해서도 하한이 강건하므로, 실제 훈련 노이즈 하에서도 성립함을 시사한다.
• 이론적 하한은 분석과 일치하는 훈련 오차의 단계 전이를 보여주는 체계적 실험에 의해 지지된다.
• 학습 문제의 통계적 차원이 지수적으로 크다는 것이 입증되었으며, 이는 어떤 SQ 알고리즘도 이 클래스를 효율적으로 학습할 수 없음을 의미한다.