[논문 리뷰] Neural Networks with Finite Intrinsic Dimension have no Spurious Valleys

Luca Venturi, Afonso S. Bandeira외 1명|arXiv (Cornell University)|2018. 02. 18.

Stochastic Gradient Optimization Techniques참고 문헌 5인용 수 19

한 줄 요약

이 논문은 두 층으로 이루어진 신경망이 매끄럽고 비선형적인 활성화 함수를 사용할 경우, 은닉층 크기가 재생핵 함수공간의 내재 차원과 일치하면 손실 곡면에 임의의 가짜 골짜기가 존재하지 않음을 증명한다. 이 위상적 보장은 항상 내림쪽 방향이 존재함을 보장하며, 비볼록성에도 불구하고 경사하강법이 성공하는 이유를 설명한다. 특히 과다 매개변수화 조건에서 그러한 현상이 발생한다.

ABSTRACT

Neural networks provide a rich class of high-dimensional, non-convex optimization problems. Despite their non-convexity, gradient-descent methods often successfully optimize these models. This has motivated a recent spur in research attempting to characterize properties of their loss surface that may be responsible for such success. In particular, several authors have noted that \emph{over-parametrization} appears to act as a remedy against non-convexity. In this paper, we address this phenomenon by studying key topological properties of the loss, such as the presence or absence of valleys, defined as connected components of sub-level sets that do not include a global minimum. Focusing on a class of two-layer neural networks defined by smooth (but generally non-linear) activation functions, our main contribution is to prove that as soon as the hidden layer size matches the \emph{intrinsic} dimension of the reproducing space, defined as the linear functional space generated by the activations, no spurious valleys exist, thus allowing the existence of descent directions. Our setup includes smooth activations such as polynomials, both in the empirical and population risk, and generic activations in the empirical risk case.

연구 동기 및 목표

• 비볼록성의 이론적 과제에도 불구하고 경사하강법이 두 층 신경망 최적화에서 성공하는 이유를 이해하는 것.
• 특히 가짜 골짜기의 유무를 포함한 손실 곡면의 위상적 구조를 조사하는 것.
• 활성화 공간의 내재 차원을 통해 과다 매개변수화가 가짜 골짜기를 어떻게 제거하는지 특성화하는 것.
• 비볼록 설정에서도 전역적으로 내림쪽 방향이 존재할 조건을 설정하는 것.

제안 방법

• 분석은 매끄럽고 비선형적인 활성화 함수를 사용하는 두 층 신경망에 집중한다.
• 내재 차원은 활성화 함수들이 생성하는 선형 함수공간의 차원으로 정의된다.
• 손실 곡면은 부분수준 집합을 통해 연구되며, 가짜 골짜기는 전역 최소값을 포함하지 않는 연결 성분으로 정의된다.
• 위상적 추론을 통해 은닉층 크기가 내재 차원과 일치할 경우 가짜 골짜기가 존재하지 않음을 증명한다.
• 증명은 경험적 위험과 인구 위험 설정 모두에 적용되며, 경험적 경우에서는 일반적인 활성화 함수를 고려한다.
• 분석은 재생핵 힐베르트 공간의 성질과 함수 근사의 기하학적 성질에 의존한다.

실험 결과

연구 질문

• RQ1 두 층 신경망의 손실 곡면에서 가짜 골짜기가 사라지는 조건은 무엇인가?
• RQ2 은닉층 크기와 활성화 공간의 내재 차원 간의 관계는 가짜 골짜기를 제거하는 데 어떻게 작용하는가?
• RQ3 경험적 및 인구 위험 설정 모두에서 매끄럽고 비선형적인 활성화 함수에 대해 가짜 골짜기가 존재하지 않음을 보장할 수 있는가?
• RQ4 손실 표면의 어떤 위상적 성질이 임의의 점에서 내림쪽 방향의 존재를 보장하는가?
• RQ5 은닉층 크기를 활성화 공간의 내재 차원과 일치시켜 정의된 과다 매개변수화가 가짜 골짜기를 어떻게 제거하는가?

주요 결과

• 은닉층 크기가 재생공간의 내재 차원과 일치할 경우, 두 층 신경망의 손실 곡면에 가짜 골짜기가 존재하지 않는다.
• 가짜 골짜기가 존재하지 않음은 매개변수 공간의 임의의 점에서 내림쪽 방향이 존재함을 보장한다.
• 이 결과는 다항식과 같은 매끄러운 활성화 함수에 대해 경험적 및 인구 위험 설정 모두에서 성립한다.
• 네트워크가 함수공간의 내재 차원에 도달하면 손실 표면의 위상적 구조가 최적화에 유리해진다.
• 경험적 위험의 경우 일반적인 활성화 함수에 대해 증명되어, 특정 활성화 유형을 초월한 광범위한 적용 가능성을 보여준다.
• 이러한 발견은 과다 매개변수화된 신경망에서 경사하강법의 경험적 성공에 대한 이론적 해석을 제공한다.