[논문 리뷰] Geometry of the Loss Landscape in Overparameterized Neural Networks: Symmetries and Invariances

Berfin Şimşek, François Gaston Ged외 5명|arXiv (Cornell University)|2021. 05. 25.

Stochastic Gradient Optimization Techniques참고 문헌 37인용 수 14

한 줄 요약

이 논문은 순열 대칭성과 불변성을 분석하여 과다 매개변수화된 이중 및 다중 레이어 신경망의 손실 곡면 기하학을 조사한다. 추가로 각 레이어에 한 개의 뉴런을 더함으로써 이산적인 전역 최소점들이 하나의 손실이 0인 임계점의 연결된 다양체로 연결됨을 보여주며, 이 다양체 내의 아핀 부분공간 수는 경미하게 과다 매개변수화된 경우와 극도로 과다 매개변수화된 경우에서 다르게 척도가 변한다 — h ≪ r∗일 때는 대칭성에 의해 유도된 임계점이 지배하고, h ≌ r∗일 때는 전역 최소점 부분공간이 지배한다.

ABSTRACT

We study how permutation symmetries in overparameterized multi-layer neural networks generate `symmetry-induced' critical points. Assuming a network with $ L $ layers of minimal widths $ r_1^*, \ldots, r_{L-1}^* $ reaches a zero-loss minimum at $ r_1^*! \cdots r_{L-1}^*! $ isolated points that are permutations of one another, we show that adding one extra neuron to each layer is sufficient to connect all these previously discrete minima into a single manifold. For a two-layer overparameterized network of width $ r^*+ h =: m $ we explicitly describe the manifold of global minima: it consists of $ T(r^*, m) $ affine subspaces of dimension at least $ h $ that are connected to one another. For a network of width $m$, we identify the number $G(r,m)$ of affine subspaces containing only symmetry-induced critical points that are related to the critical points of a smaller network of width $r

연구 동기 및 목표

• 과다 매개변수화된 신경망에서 순열 대칭성이 임계점을 어떻게 생성하고 전역 최소점의 연결성에 어떻게 영향을 주는지 이해하기.
• 전역 최소점 다양체의 기하학적 구조를 아핀 부분공간과 그 연결성의 관점에서 기술하기.
• 네트워크 폭과 과다 매개변수화의 함수로 대칭성에 의해 유도된 임계 부분공간과 전역 최소점 부분공간의 수에 대한 닫힌 형식의 공식 유도하기.
• 이러한 부분공간의 척도 행동을 경미하게 과다 매개변수화된 (h ≪ r∗)와 극도로 과다 매개변수화된 (h ≫ r∗) 영역에서 조사하기.
• 작은 네트워크의 안장점이 뉴런을 추가함으로써 더 큰 네트워크에서 국소 최소점이 아니라 대칭성에 의해 유도된 안장점으로 변환됨을 보여주기.

제안 방법

• 다중 레이어 네트워크의 순열 대칭성을 활용하여 폭이 r인 좁은 네트워크의 임계점을 폭이 m = r + h인 넓은 네트워크로 매핑함으로써 대칭성에 의해 유도된 임계 부분공간을 생성한다.
• 조합 분석을 사용하여 두 레이어 네트워크에서 전역 최소점 다양체를 이루는 아핀 부분공간 수 T(r∗, m)에 대한 닫힌 형식의 표현식을 유도한다.
• 폭이 r < r∗인 좁은 네트워크와 관련된 대칭성에 의해 유도된 임계점만 포함하는 아핀 부분공간 수 G(r, m)를 유도한다.
• 점근 분석과 귀납법을 적용하여 h ≪ r∗ 및 h ≫ r∗일 때의 점근적 척도 행동을 T(r∗, m)과 G(r∗−k, m)에 대해 규명한다.
• 각 은닉 레이어에 최소한 한 개의 뉴런을 추가함으로써 L층 네트워크에 대해 전역 최소점 다양체가 모든 레이어에 걸쳐 연결되어 있음을 보여주어 다중 레이어 네트워크로 분석을 확장한다.
• G(r, m)의 정밀한 점근적 분석을 위해 Nørlund-Rice 적분과 안장점 기법을 적용하지만, 이는 주요 결과의 범위를 초월한다고 명시되어 있다.

실험 결과

연구 질문

• RQ1 과다 매개변수화된 신경망에서 순열 대칭성이 임계점을 어떻게 생성하고 전역 최소점의 연결성에 어떻게 영향을 주는가?
• RQ2 두 레이어 과다 매개변수화된 네트워크에서 전역 최소점 다양체의 정확한 기하학적 구조(아핀 부분공간의 수와 차원)는 무엇인가?
• RQ3 경미하게 과다 매개변수화된 (h ≪ r∗)와 극도로 과다 매개변수화된 (h ≫ r∗) 영역에서 대칭성에 의해 유도된 임계 부분공간의 상대적인 수가 전역 최소점 부분공간의 수와 어떻게 척도가 변하는가?
• RQ4 폭이 r인 좁은 네트워크의 안장점이 뉴런을 추가함으로써 네트워크가 확장될 때 국소 최소점이 될 수 있는가?
• RQ5 딥 네트워크에서 여러 은닉 레이어에 뉴런을 추가할 경우 전역 최소점 다양체의 연결성은 어떻게 변화하는가?

주요 결과

• 최소 폭 r∗₁,…,r∗_{L−1}를 가진 L층 네트워크에 각 레이어에 한 개의 뉴런을 추가하는 것으로 충분하여 r∗₁!⋯r∗_{L−1}개의 고립된 전역 최소점이 하나의 연결된 영속 손실 다양체로 연결된다.
• 폭 m = r∗ + h인 두 레이어 네트워크에서 전역 최소점 다양체는 최소한 차원 h 이상인 T(r∗, m)개의 아핀 부분공간으로 이루어져 있으며, 이 다양체는 연결되어 있다.
• 경미하게 과다 매개변수화된 영역(h ≪ r∗)에서는 대칭성에 의해 유도된 임계 부분공간 수(G(r∗−k, m))가 전역 최소점 부분공간 수(T(r∗, m))를 지배하며, 이는 안장점의 급격한 증가를 나타낸다.
• 극도로 과다 매개변수화된 영역(h ≫ r∗)에서는 전역 최소점 부분공간 수(T(r∗, m))가 대칭성에 의해 유도된 임계 부분공간 수(G(r∗−k, m))를 지배하며, 이는 '엄청나게 큰' 전역 최소점 다양체를 나타낸다.
• G(r, m)의 점근적 행동은 고정된 r에 대해 큰 m일 때 ∼rm이며, 경미하게 과다 매개변수화된 영역에서 T(r∗, m) ∼(r∗)^h / (2^h h! m!)이다.
• 폭이 r인 좁은 네트워크의 안장점은 넓은 네트워크에서 대칭성에 의해 유도된 안장점으로 변환되며, 국소 최소점으로는 변하지 않아 최적화 곡면의 구조가 유지된다.