[논문 리뷰] Landscape analysis for shallow ReLU neural networks: complete classification of critical points for affine target functions.

Patrick Cheridito, Arnulf Jentzen외 1명|arXiv (Cornell University)|2021. 03. 19.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 11

한 줄 요약

이 논문은 목표 함수가 애프린 함수일 때, 하나의 은닉층을 가진 얕은 ReLU 신경망의 임계점에 대한 완전한 분류를 제공한다. 은닉 뉴런 구성의 조합적 분석을 통해 모든 국소 최소점과 안장점이 특정한 구조적 형태를 띠며, 손실 곡면에 국소 최대점이 존재하지 않음을 증명한다.

ABSTRACT

In this paper, we analyze the landscape of the true loss of a ReLU neural network with one hidden layer. We provide a complete classification of the critical points in the case where the target function is affine. In particular, we prove that local minima and saddle points have to be of a special form and show that there are no local maxima. Our approach is of a combinatorial nature and builds on a careful analysis of the different types of hidden neurons that can occur in a ReLU neural network.

연구 동기 및 목표

• 한 개의 은닉층을 가진 얕은 ReLU 신경망의 손실 곡면을 이해하기 위해.
• 이러한 네트워크에서 발생하는 모든 임계점—국소 최소점, 안장점, 국소 최대점—을 분류하기 위해.
• 국소 최대점이 존재하는지 여부를 확인하고, 국소 최소점과 안장점의 구조적 형태를 규명하기 위해.
• ReLU 네트워크에서 뉴런 행동과 활성화 패턴을 분석하기 위한 조합적 프레임워크를 개발하기 위해.

제안 방법

• 은닉 뉴런의 활성화 패턴과 가중치 구조에 기반한 은닉 뉴런 구성의 조합적 분석.
• 애프린 목표 함수를 표현하는 데서 뉴런의 역할에 따라 뉴런을 유형으로 분류.
• 가중치와 편향에 대한 기하학적 및 대수적 제약 조건을 통해 가능한 임계점 유형을 체계적으로 열거.
• ReLU 손실 함수의 하위미분을 분석하여 임계점에 필요한 조건을 도출.
• ReLU 네트워크의 조각별 선형 구조를 활용하여 파라미터 공간을 일관된 활성화 패턴을 가진 영역으로 분해.
• 모순에 의한 증명과 케이스 분석을 통해 국소 최대점의 존재를 배제.

실험 결과

연구 질문

• RQ1 한 개의 은닉층을 가진 얕은 ReLU 네트워크에서 애프린 목표 함수를 가진 손실 곡면에 국소 최대점이 존재하는가?
• RQ2 이러한 네트워크에서 국소 최소점과 안장점은 어떤 구조적 형태를 띠는가?
• RQ3 은닉 뉴런의 활성화 패턴은 임계점의 위치와 성격을 어떻게 제약하는가?
• RQ4 모든 임계점은 조합적 방법을 통해 체계적으로 분류될 수 있는가?

주요 결과

• 애프린 목표 함수를 가진 얕은 ReLU 네트워크의 손실 곡면에는 국소 최대점이 존재하지 않는다.
• 모든 국소 최소점은 목표 함수를 정확히 표현하는 활성 및 비활성 뉴런의 특정 구성으로 특징지어진다.
• 모든 안장점 또한 목표 함수의 부분 표현과 연결된 특정한 조합적 구조를 띤다.
• 임계점의 분류는 은닉층에서의 뉴런 활성화 패턴의 조합적 유형에 의해 완전히 결정된다.