[논문 리뷰] The global optimum of shallow neural network is attained by ridgelet transform

Sho Sonoda, Isao Ishikawa외 5명|arXiv (Cornell University)|2018. 05. 19.

Neural Networks and Applications참고 문헌 22인용 수 5

한 줄 요약

이 논문은 깊이가 얕은 신경망에서 임의의 비선형 활성화 함수를 가진 백프로파게이션 학습 문제의 전역 최소값이 라이지릿 변환에 의해 주어진다는 것을 증명한다. 무한차원 힐버트 공간에서의 볼록 최적화 문제로 재구성함으로써, 저자들은 라이지릿 기반 재구성 기법을 사용하여 전역 최적해에 대한 명시적인 해석적 표현을 유도하며, 신경망 학습과 적분 변환 사이의 기본적인 연결 고리를 확립한다.

ABSTRACT

We prove that the global minimum of the backpropagation (BP) training problem of neural networks with an arbitrary nonlinear activation is given by the ridgelet transform. A series of computational experiments show that there exists an interesting similarity between the scatter plot of hidden parameters in a shallow neural network after the BP training and the spectrum of the ridgelet transform. By introducing a continuous model of neural networks, we reduce the training problem to a convex optimization in an infinite dimensional Hilbert space, and obtain the explicit expression of the global optimizer via the ridgelet transform.

연구 동기 및 목표

• 얕은 신경망 학습에서 국소 최소값을 초월하여 손실 곡면의 전역 구조를 이해하는 것.
• 함수 공간에서의 변분 문제로 재구성함으로써 백프로파게이션의 비볼록, 고차원 최적화 문제를 해결하는 것.
• 학습 문제의 전역 최소해와 라이지릿 변환 사이의 엄밀한 수학적 연결 고리를 확립하는 것.
• 기능 해석을 통해 매개변수화에 종속되지 않은 전역 최적해에 대한 명시적인 표현을 제공하는 것.
• 학습된 네트워크 매개변수와 라이지릿 스펙트럼 간의 유사성을 보여주는 계산 실험을 통해 이론적 연결 고리를 검증하는 것.

제안 방법

• 백프로파게이션 학습 문제를 무한차원 힐버트 공간에서의 변분 최적화 문제로 재구성하는 것.
• 신경망을 라이지릿 유형 원자들의 연속적 초합으로 정의함으로써 라이지릿 변환을 사용하는 것.
• 수반 연산자와 적분 연산자를 사용하여 최적화 문제를 라이지릿 변환 및 그 역변환의 형태로 표현하는 것.
• 무어-펜로즈 역행렬과 스펙트럼 분해와 같은 기능 해석 도구를 적용하여 볼록 최적화 문제를 해결하는 것.
• 정규화 매개변수에 의해 가중된 목표 함수의 역라이지릿 변환으로서 전역 최소해를 도출하는 것.
• 수반 연산자와 티코노프 정규화를 통해 해가 유일하고 최적이며 안정성과 수렴성을 보장하는 것으로 증명하는 것.

실험 결과

연구 질문

• RQ1 얕은 신경망에서 임의의 비선형 활성화 함수를 가진 학습 문제에서 전역 최소해의 해석적 형태는 무엇인가?
• RQ2 라이지릿 변환은 매개변수 공간에서 학습된 네트워크 매개변수의 분포와 어떻게 관련이 있는가?
• RQ3 비볼록 백프로파게이션 문제의 전역 최적해는 함수 공간에서의 볼록 최적화로 표현될 수 있는가?
• RQ4 해는 신경망의 매개변수화에 독립적인가? 그리고 기능 해석은 이를 어떻게 보장하는가?
• RQ5 학습된 매개변수의 산점도와 라이지릿 스펙트럼을 연결하는 수학적 메커니즘은 무엇인가?

주요 결과

• 얕은 신경망에서의 백프로파게이션 학습 문제의 전역 최소해는 목표 함수의 역라이지릿 변환에 의해 명시적으로 주어진다.
• 라이지릿 변환은 비볼록 최적화 문제를 힐버트 공간에서의 볼록 문제로 줄임으로써 매개변수화에 종속되지 않은 해석적 해를 제공한다.
• 계산 실험 결과, 학습된 네트워크 매개변수의 산점도와 목표 함수의 라이지릿 스펙트럼 사이에 강한 시각적 및 구조적 유사성이 나타난다.
• 수반 연산자와 티코노프 정규화를 통해 도출된 해는 유일하고 최적이며 안정성과 수렴성을 보장한다.
• 이론적 프레임워크는 특정 또는 선형 활성화 함수가 아닌 임의의 비선형 활성화 함수에 대해 유효하다.
• 이 결과는 신경망 학습과 적분 변환, 특히 라이지릿 변환 사이에 깊이 있는 수학적 등가성을 확립한다.