[논문 리뷰] Pure and Spurious Critical Points: a Geometric Study of Linear Networks

Matthew Trager, Kathlén Kohn외 1명|arXiv (Cornell University)|2019. 10. 03.

Graph theory and applications참고 문헌 23인용 수 4

한 줄 요약

이 논문은 선형 네트워크의 기능적 공간에서 기인하는 순수한 임계점(pure critical points)과 매개변수화에 기인하는 가짜 임계점(spurious critical points)을 구분하는 기하학적 프레임워크를 제안한다. 채우는 아키텍처(filling architectures, 모든 선형 사상 표현 가능)의 경우, 모든 부드러운 볼록 손실 함수에 대해 나쁜 국소 최솟값이 존재하지 않음을 증명한다. 반면, 랭크 제약이 있는 기능적 공간을 가진 비채우는 아키텍처(non-filling architectures)의 경우, 오직 제곱 손실(quadratic loss)만이 나쁜 최솟값이 존재하지 않음을 보장하며, 이는 결정식 다양체(determinantal varieties)의 특수한 기하학적 성질 때문임을 밝힌다.

ABSTRACT

The critical locus of the loss function of a neural network is determined by the geometry of the functional space and by the parameterization of this space by the network's weights. We introduce a natural distinction between pure critical points, which only depend on the functional space, and spurious critical points, which arise from the parameterization. We apply this perspective to revisit and extend the literature on the loss function of linear neural networks. For this type of network, the functional space is either the set of all linear maps from input to output space, or a determinantal variety, i.e., a set of linear maps with bounded rank. We use geometric properties of determinantal varieties to derive new results on the landscape of linear networks with different loss functions and different parameterizations. Our analysis clearly illustrates that the absence of "bad" local minima in the loss landscape of linear networks is due to two distinct phenomena that apply in different settings: it is true for arbitrary smooth convex losses in the case of architectures that can express all linear maps ("filling architectures") but it holds only for the quadratic loss when the functional space is a determinantal variety ("non-filling architectures"). Without any assumption on the architecture, smooth convex losses may lead to landscapes with many bad minima.

연구 동기 및 목표

• 선형 네트워크가 비볼록성에도 불구하고 나쁜 국소 최솟값을 자주 피하는 이유에 대한 오랫동안 미해결된 수수께끼를 해결하기 위해.
• 기능적 공간에서 기인하는 임계점(순수한)과 매개변수화에서 기인하는 임계점(가짜)을 공식적으로 구분하기 위해.
• 특히 결정식 다양체를 중심으로 대수기하학을 활용해 선형 네트워크의 손실 곡면을 분석하기 위해.
• 부드러운 볼록 손실 함수가 선형 네트워크에서 비최적 최솟값(non-global minima)을 유도하지 않는 조건을 명확히 하기 위해.
• 순수한 최솟값이 없는 두 가지 기하학적 메커니즘을 규명함으로써 이전의 선형 네트워크 최적화 결과들을 통합하기 위해.

제안 방법

• 손실 함수를 매개변수 공간 → 기능적 공간 → ℝ의 복합 함수로 분해한다. 여기서 기능적 공간은 선형 사상의 집합이다.
• 기능적 공간의 기하학적 성질에 의해 결정되는 임계점을 순수한 임계점으로 정의하고, 매개변수화 사상의 산물로 발생하는 임계점을 가짜 임계점으로 정의한다.
• 선형 네트워크의 임계점을 특성화하기 위해 행렬 곱셈의 미분을 분석한다.
• 특히 랭크 제약이 있는 선형 사상(즉, 결정식 다양체)의 특이점과 곡률을 연구하기 위해 대수기하학 도구를 사용한다.
• 헤시안의 특성다항식을 계산하고, 음의 고유값의 수를 세기 위해 쇼우르 보조정리(Schur complements)와 고유값 분석을 적용한다.
• 특성다항식의 명시적 계산을 통해 헤시안에 음의 고유값이 존재하지 않는 조건(즉, 나쁜 국소 최솟값이 존재하지 않는 조건)을 유도한다.

실험 결과

연구 질문

• RQ1 선형 네트워크에서 비최적 국소 최솟값이 없는 원인는 무엇이며, 이 현상은 모든 손실 함수에 대해 일반화 가능한가?
• RQ2 기능적 공간의 기하학적 성질(예: 결정식 다양체)이 손실 곡면에 어떤 영향을 미치는가?
• RQ3 어떤 설정에서 가짜 임계점이 지배적이며, 언제는 존재하지 않는가?
• RQ4 왜 제곱 손실은 비채우는 아키텍처에서 나쁜 최솟값을 피하는가? 다른 볼록 손실 함수는 그렇지 않은가?
• RQ5 순수한 임계점과 가짜 임계점의 구분이 이전 선형 네트워크 최적화 연구 결과를 설명할 수 있는가?

주요 결과

• 채우는 아키텍처(모든 선형 사상 표현 가능)의 경우, 모든 부드러운 볼록 손실 함수에 대해 나쁜 국소 최솟값이 존재하지 않는다.
• 비채우는 아키텍처(기능적 공간이 결정식 다양체인 경우)의 경우, 오직 제곱 손실만이 나쁜 국소 최솟값이 존재하지 않음을 보장한다.
• 제곱 손실의 경우 나쁜 국소 최솟값이 없는 것은 일반적인 볼록성 때문이 아니라, 결정식 다양체의 특수한 기하학적 성질 때문임을 규명하였다.
• 비채우는 아키텍처에서 임의의 부드러운 볼록 손실 함수의 경우, 손실 곡면에 다수의 비최적 국소 최솟값이 존재할 수 있다.
• 헤시안의 음의 고유값 수(나쁜 국소 최솟값을 나타냄)는 입력층과 출력층의 상대적 특이값에 의해 결정된다.
• 헤시안의 특성다항식을 명시적으로 계산하였으며, 특이값의 대수적 분석을 통해 음의 근(나쁜 국소 최솟값에 해당)의 수를 세었다.