[논문 리뷰] Symmetry & critical points for a model shallow neural network

Yossi Arjevani, Michael Field|arXiv (Cornell University)|2020. 03. 23.

Neural Networks and Applications참고 문헌 25인용 수 4

한 줄 요약

이 논문은 대칭성과 군 이론을 활용하여 두 층의 ReLU 신경망에서 은닉 뉴런 수 $k$에 대해 임계점을 분석하고, $k^{-1/2}$의 멱급수 형태로 표현한다. 이를 통해 임의의 국소 최소값이 크게 다를 수 있음을 밝혀내며, 일부는 손실이 $k^{-1}$ 비례로 감소하는 반면, 다른 일부는 양의 상수로 수렴함을 보여, 최적화 행동에서 모든 가짜 최소값이 동일하지 않음을 입증한다.

ABSTRACT

We consider the optimization problem associated with fitting two-layer ReLU networks with $k$ hidden neurons, where labels are assumed to be generated by a (teacher) neural network. We leverage the rich symmetry exhibited by such models to identify various families of critical points and express them as power series in $k^{-\frac{1}{2}}$. These expressions are then used to derive estimates for several related quantities which imply that not all spurious minima are alike. In particular, we show that while the loss function at certain types of spurious minima decays to zero like $k^{-1}$, in other cases the loss converges to a strictly positive constant. The methods used depend on symmetry, the geometry of group actions, bifurcation, and Artin's implicit function theorem.

연구 동기 및 목표

• 교수 네트워크에 의해 생성된 데이터를 학습하는 두 층의 ReLU 네트워크에서 임계점의 구조와 다양성을 이해하기 위해.
• 군 작용 하에서 기하학적 및 대칭적 성질에 기반해 임계점을 분류하기 위해.
• 은닉 뉴런 수 $k$의 $k^{-1/2}$ 거듭제곱의 멱급수 형태로 임계점의 점점적 전개를 유도하기 위해.
• 가짜 최소값에서의 손실 값 간의 차이를 정량화하고, 그것들이 균일하게 작지 않음을 보여주기 위해.
• 일부 가짜 최소값이 지속적인 비영인 손실으로 인해 본질적으로 더 나쁘다는 것을 입증하기 위해.

제안 방법

• k개의 뉴런을 가진 ReLU 네트워크의 본질적 대칭성을 활용하여 군 작용 기하학을 통해 임계점의 가족을 식별하기 위해.
• 아르틴의 은둔 함수 정리를 적용하여 임계점을 $k^{-1/2}$의 멱급수 형태로 국소적으로 매개변수화하기 위해.
• 분기 이론을 사용하여 임계점이 $k$가 증가함에 따라 어떻게 생성되고 변화하는지 분석하기 위해.
• 큰 $k$의 영역에서 임계점과 그에 관련된 손실 값에 대한 점점적 표현을 도출하기 위해.
• 다양한 유형의 가짜 최소값 간의 손실 감소 속도를 비교하기 위해 임계점에서 손실 함수를 분석하기 위해.
• 대칭성을 활용하여 최적화 지형의 차원을 줄이고 핵심적인 임계 구성 요소를 분리하기 위해.

실험 결과

연구 질문

• RQ1 두 층의 ReLU 네트워크에서 $k$개의 뉴런을 가진 경우, 임계점은 모델의 기저 대칭성에 어떻게 의존하는가?
• RQ2 $k \to \infty$일 때 임계점의 점점적 행동은 어떻게 되며, 어떻게 매개변수화할 수 있는가?
• RQ3 모든 가짜 최소값이 유사한 손실 값을 갖는가, 아니면 최적화 품질에서 상당한 차이가 있는가?
• RQ4 가짜 최소값에서의 손실은 서로 다른 감소 속도로 특징지어질 수 있는가, 만약 그렇다면 이러한 속도는 무엇에 의해 결정되는가?
• RQ5 군 작용의 기하학은 얕은 ReLU 네트워크에서 임계점의 구조를 조직화하는 데 어떤 역할을 하는가?

주요 결과

• 두 층의 ReLU 네트워크에서의 임계점은 대칭성에 따라 구분되는 가족들로 분류되며, 각 가족은 $k^{-1/2}$의 멱급수 전개를 갖는다.
• 일부 가짜 최소값에서의 손실은 $k^{-1}$ 비례로 0으로 수렴하며, 이는 큰 $k$의 근처에서 유리한 최적화 성질을 나타낸다.
• 반면 다른 가짜 최소값은 엄격히 양의 상수로 수렴하는 손실을 보이며, 지속적인 최적화 오류를 나타낸다.
• 이 결과들은 가짜 최소값이 균일하게 문제적이지 않음을 입증하며, 최종 손실 측면에서 일부는 다른 것들보다 훨씬 더 나쁘다는 것을 보여준다.
• 대칭성과 아르틴의 은둔 함수 정리를 활용하면 비볼록적이고 고차원적인 최적화 지형에서 임계점의 엄밀한 점점적 분석이 가능하다.
• 군 작용의 기하학은 얕은 신경망에서 임계점의 조직과 다양성을 이해하는 데 구조적 프레임워크를 제공한다.