[논문 리뷰] Globally Optimal Gradient Descent for a ConvNet with Gaussian Inputs

Alon Brutzkus, Amir Globerson|arXiv (Cornell University)|2017. 02. 26.

Stochastic Gradient Optimization Techniques참고 문헌 27인용 수 78

한 줄 요약

이 논문은 일반적으로 no-overlap 합성곱 네트워크의 학습이 NP-hard임을 증명하고, 가우시안 입력에서 그래디언트 강하가 글로벌 최적해로 전역 수렴한다는 것을 보이며, 또한 중첩 필터가 글로벌 최적성을 깨뜨린다는 것을 보인다.

ABSTRACT

Deep learning models are often successfully trained using gradient descent, despite the worst case hardness of the underlying non-convex optimization problem. The key question is then under what conditions can one prove that optimization will succeed. Here we provide a strong result of this kind. We consider a neural net with one hidden layer and a convolutional structure with no overlap and a ReLU activation function. For this architecture we show that learning is NP-complete in the general case, but that when the input distribution is Gaussian, gradient descent converges to the global optimum in polynomial time. To the best of our knowledge, this is the first global optimality guarantee of gradient descent on a convolutional neural network with ReLU activations.

연구 동기 및 목표

• ReLU 활성화와 no-overlap를 갖는 한 은닉층 convolutional 네트워크에 대한 학습 문제를 동기 부여하고 형식화한다.
• 일반 데이터 분포에 대한 어려움 결과를 보인다(학습이 NP-완전임).
• 가우시안 입력에서 그래디언트 강하가 글로벌 최적해로 수렴한다는 분포 의존적 타당성을 확립한다.
• 비중복(non-overlapping)과 중첩(overlapping) 필터 설정 간의 차이점을 특성화한다.
• 가우시안 입력과 비가우시안 입력 간의 타당성 차이를 실험적으로 보여준다.

제안 방법

• 네트워크를 f(x;w) = (1/k) sum_i sigma(w · x[i])로 정의하되, non-overlap 구조와 평균 풀링을 사용한다.
• 가우시안 입력에서 E[ sigma(u·x) sigma(v·x) ]인 g(u,v)로 인구 위험 ell(w)를 표현하고, g와 그 기울기의 닫힌 형태를 도출한다( Lemmas 3.1 및 3.2 ).
• No-Overlap Network에 특화시켜 ||w||, ||w*||, 및 w와 w* 사이의 각도 theta에 의존하는 단순화된 손실 l(w)을 얻는다(Eq. 8).
• Set-Splitting-by-k-Sets로의 환원(Theorem 4.2)을 통해 일반 분포 설정에서 No-Overlap Networks 학습의 NP-hardness를 증명한다.
• 가우시안 입력에서 그래디언트 강하가 거의 글로벌 최적에 수렴함을 증명하고, 임계점의 특성화와 고확률의 O(1/epsilon^2) 반복 횟수 한계를 포함한다(Theorem 5.2).
• 타당성 격차의 실험적 시연을 제공하고 중첩 필터의 동작에 대해 논의한다(섹션 6 및 7).

실험 결과

연구 질문

• RQ1 일반 입력 분포하에서 ReLU 활성화를 갖는 No-Overlap 합성곱 네트워크의 학습이 NP-hard인가?
• RQ2 가우시안 입력 분포하에서 No-Overlap 네트워크에 대해 그래디언트 강하가 글로벌 최적해로 수렴하는가, 그리고 어떤 복잡도인가?
• RQ3 중첩 필터의 포함이 글로벌 최적의 존재와 그래디언트 강하의 동작에 어떤 영향을 미치는가?
• RQ4 실험 결과가 가우시안 입력에서의 이론적 타당성과 일반 경우의 난제성과 일치하는가?

주요 결과

• 무제한 입력 분포 하에서 No-Overlap Networks의 학습은 NP-완전하다( Set-Splitting-by-k-Sets의 환원).
• 가우시안 입력 분포에서 그래디언트 강하는 모집단 위험의 글로벌 최적해로 다항 시간(O(1/epsilon^2) 반복) 내에 수렴하며, 높은 확률로 그렇다.
• No-Overlap Networks의 모집단 손실은 세 가지 임계점을 가진다: w = 0에서의 국부 최대, w = w*에서의 고유한 글로벌 최소, 그리고 특이한 saddle; 이 특성은 수렴 보장을 뒷받침한다.
• 중첩 필터를 가진 네트워크는 글로벌이 아닌 지역 최소와 비단순한 비최적 영역을 보이며, 랜덤 재시작이 실험적으로 글로벌 최소를 회복하는 데 도움된다.
• 실험적으로 그래디언트 기반 최적화가 가우시안 데이터에서 성공하지만 비가우시안 데이터에서 막히는 경우가 있어 타당성 격차를 보여준다.