[논문 리뷰] Eliminating all bad Local Minima from Loss Landscapes without even adding an Extra Unit

Jascha Sohl‐Dickstein, Kenji Kawaguchi|arXiv (Cornell University)|2019. 01. 12.

Advanced Neural Network Applications참고 문헌 1인용 수 3

한 줄 요약

이 논문은 추가적인 네트워크 유닛을 추가하지 않고 보조 파rameter $a$와 $b$를 도입하여 어떤 손실 경관에서도 나쁜 국소 최솟값을 제거하는 방법을 제안한다. 수정된 손실 $\tilde{L}(\theta, a, b)$를 구성함으로써, 비글로벌 최솟값은 $b$에서 무한대로 밀려나게 하여, 새로운 경관에서 유한한 국소 최솟값은 모두 원래 경관의 전역 최솟값에 해당하게 하여, 수정된 공간에서 나쁜 국소 최솟값이 존재하지 않음을 보장한다.

ABSTRACT

Recent work has noted that all bad local minima can be removed from neural network loss landscapes, by adding a single unit with a particular parameterization. We show that the core technique from these papers can be used to remove all bad local minima from any loss landscape, so long as the global minimum has a loss of zero. This procedure does not require the addition of auxiliary units, or even that the loss be associated with a neural network. The method of action involves all bad local minima being converted into bad (non-local) minima at infinity in terms of auxiliary parameters.

연구 동기 및 목표

• 비볼록 설정(예: 신경망 포함)에서의 나쁜 국소 최솟값 문제를 다루기 위해.
• 보조 파rameter가 나쁜 국소 최솟값을 어떻게 제거하는지, 신경망 아키텍처에 의존하지 않고 설명하기 위해.
• 보조 뉴런이나 네트워크 유닛을 추가하지 않더라도, 특정한 파rameter화만으로도 나쁜 국소 최솟값을 제거할 수 있음을 보여주기 위해.
• 비글로벌 최솟값을 $b$에서 무한대로 밀어내는 핵심 아이디어가 전역 최솟값이 0인 임의의 손실 함수에 일반적으로 적용됨을 보여주기 위해.
• 신경망 특화 구조가 아닌, 일반화 가능하고 형식적인 프레임워크를 제공하여 나쁜 국소 최솟값을 제거하는 데 목적이 있다.

제안 방법

• 원래 손실 함수 $L(\theta)$에 두 개의 보조 파rameter $a, b \in \mathbb{R}$를 도입하여 수정된 손실 $\tilde{L}(\theta, a, b)$를 구성한다.
• 수정된 손실을 $\tilde{L}(\theta, a, b) = L(\theta)(1 + (a e^b - 1)^2) + \lambda a^2$로 정의한다. 여기서 $\lambda > 0$는 정규화 하이퍼파ram터이다.
• 손실의 구조를 활용하여, $L(\theta) > 0$인 모든 $\theta$에 대해 보조 파rameter가 손실을 최소화하기 위해 $b \to \infty$와 $a \to 0$으로 이동하도록 보장한다.
• 수정된 손실 $\tilde{L}$의 오직 유한한 임계점은 $L(\theta) = 0$ 이면서 $a = 0$일 때만 존재하며, 이는 $L(\theta)$의 전역 최솟값에 해당한다.
• $L(\theta)$의 모든 비글로벌 최솟값이 $b$에서 무한대에 위치한 국소 최솟값이 아니게 되어 $\mathbb{R}^n$에서 국소 최솟값으로 간주되지 않게 되며, 이로써 나쁜 국소 최솟값이 제거됨을 증명한다.
• 이 방법이 전역 최솟값이 0인 임의의 손실 함수에 대해 작동함을 보여주며, 이는 신경망에서 유래된 것인지 여부와 관계없이 적용 가능하다.

실험 결과

연구 질문

• RQ1 추가적인 보조 네트워크 유닛 없이 어떤 손실 경관에서도 나쁜 국소 최솟값을 제거할 수 있는가?
• RQ2 보조 파arameter $a$와 $b$가 비글로벌 최솟값을 어떻게 무한대에 위치한 국소 최솟값으로 변환하는가?
• RQ3 나쁜 국소 최솟값 제거 과정이 특정 신경망 아키텍처나 손실 함수의 성질에 의존하는가?
• RQ4 모델 아키텍처를 수정하지 않고도 보조 변수의 파arameter화만으로 동일한 효과를 달성할 수 있는가?
• RQ5 $b \to \infty$의 행동이 비글로벌 최솟값이 수정된 경관에서 더 이상 국소 최솟값으로 간주되지 않게 되는 이유는 무엇인가?

주요 결과

• 수정된 손실 $\tilde{L}(\theta, a, b)$의 모든 유한한 국소 최솟값은 원래 손실 $L(\theta)$의 전역 최솟값에 해당하므로, 새로운 경관에서 나쁜 국소 최솟값이 존재하지 않음을 보장한다.
• 모든 $\theta$에 대해 $L(\theta) > 0$이면 보조 파arameter는 $a \to 0$과 $b \to \infty$로 이동하여 손실을 무한대에서 최솟값으로 이끌어낸다.
• $\tilde{L}$의 오직 하나의 유한한 임계점은 $L(\theta) = 0$ 이면서 $a = 0$일 때 존재하며, 이는 임의의 $b$에 대해 국소 최솟값이 되며 $L(\theta)$의 전역 최솟값에 해당한다.
• $b$에서의 무한대에 위치한 최솟값은 $\mathbb{R}^n$에서 국소 최솟값으로 간주되지 않기 때문에, $L(\theta)$의 비글로벌 최솟값은 $\tilde{L}$에서 국소 최솟값으로 간주되지 않는다.
• 이 방법은 전역 최솟값이 0인 임의의 손실 함수에 대해 일반적으로 적용 가능하며, 신경망에서 유래된 것인지 여부와 관계없이 적용 가능하다.
• 이 접근법은 보조 뉴런을 필요로 하지 않으며, 핵심 메커니즘이 아키텍처의 추가가 아닌 파arameter화와 정규화에 있음을 보여준다.