[논문 리뷰] Representing smooth functions as compositions of near-identity functions with implications for deep network optimization

Peter L. Bartlett, Steven N. Evans외 1명|arXiv (Cornell University)|2018. 04. 13.

Stochastic Gradient Optimization Techniques참고 문헌 13인용 수 16

한 줄 요약

이 논문은 모든 매끄러운 비리프시츠 함수가 각각 항등함수에서 작은 리프시츠 편차를 갖는 근접 항등함수들의 복합함수로 정확히 표현될 수 있음을 증명한다. 또한 비선형 회귀에서 이러한 복합함수에 대해 기능적 그래디언트 하강법을 사용할 경우, 시그모이드 활성화를 갖는 표준 잔여망에서의 매개변수 그래디언트 방법과 달리 국소 최적점이 아닌 임계점을 피함을 보여준다.

ABSTRACT

We show that any smooth bi-Lipschitz $h$ can be represented exactly as a composition $h_m \circ ... \circ h_1$ of functions $h_1,...,h_m$ that are close to the identity in the sense that each $\left(h_i-\mathrm{Id} ight)$ is Lipschitz, and the Lipschitz constant decreases inversely with the number $m$ of functions composed. This implies that $h$ can be represented to any accuracy by a deep residual network whose nonlinear layers compute functions with a small Lipschitz constant. Next, we consider nonlinear regression with a composition of near-identity nonlinear maps. We show that, regarding Fréchet derivatives with respect to the $h_1,...,h_m$, any critical point of a quadratic criterion in this near-identity region must be a global minimizer. In contrast, if we consider derivatives with respect to parameters of a fixed-size residual network with sigmoid activation functions, we show that there are near-identity critical points that are suboptimal, even in the realizable case. Informally, this means that functional gradient methods for residual networks cannot get stuck at suboptimal critical points corresponding to near-identity layers, whereas parametric gradient methods for sigmoidal residual networks suffer from suboptimal critical points in the near-identity region.

연구 동기 및 목표

• 매끄럽고 비리프시츠인 함수가 근접 항등함수들의 복합으로 정확히 표현될 수 있음을 보여줌으로써 딥 잔여망의 이론적 기초를 확립하는 것.
• 근접 항등함수들의 복합으로 구성된 비선형 회귀의 최적화 지형을 분석하고, 임계점에 초점을 맞추는 것.
• 잔여망에서 기능적 그래디언트 방법(함수에 대한 그래디언트)과 매개변수 그래디언트 방법(망의 가중치에 대한 그래디언트)을 비교하는 것.
• 왜 기능적 그래디언트 하강법은 근접 항등함수 영역에서 국소 최적점이 아닌 임계점을 피하는지 설명하는 것.

제안 방법

• 모든 매끄러운 비리프시츠 사상 $ h $ 가 정확히 $ h = h_m \circ \cdots \circ h_1 $ 로 분해될 수 있음을 증명하며, 여기서 각 $ h_i = \mathrm{Id} + N_i $ 이고 $ \|N_i\|_L \leq C/m $ 이며, $ m $ 은 층의 수인 상수 $ C $ 를 갖는다.
• 선형적 근사에 대한 $ h $ 의 편차를 제어하기 위해 선적분의 그래디언트 정리와 매끄러움 가정을 사용하여 $ N_i $ 에 대한 리프시츠 제어를 확립한다.
• 이차 손실 함수의 프레셰 도함수를 함수 $ h_i $ 에 대해 분석하여, 근접 항등함수 영역 내의 임계점이 반드시 전역 최소화자임을 보여준다.
• 시그모이드 활성화를 갖는 이중층 잔여망을 사용하여 반례를 구성함으로써, 조건부로 실현 가능한 경우에도 매개변수 그래디언트 하강법이 국소 최적점이 아닌 임계점으로 수렴할 수 있음을 보여준다.
• 기능적 분석 및 비볼록 최적화 이론의 결과를 적용하여, 잔여망에서 무한 매개변수(비매개변수) 최적화와 유한 매개변수(매개변수) 최적화의 행동을 비교한다.
• 정규화 또는 조기 정지 기법을 사용하여 근접 항등함수 성질을 유지하고, 이를 기능적 그래디언트 방법에서 나쁜 임계점을 피하는 데의 연결 고리를 설명한다.

실험 결과

연구 질문

• RQ1 모든 매끄럽고 비리프시츠 함수는 각 층에서 점점 줄어드는 리프시츠 편차를 갖는 근접 항등함수들의 복합으로 정확히 표현될 수 있는가?
• RQ2 근접 항등함수들의 복합에 대해 기능적 그래디언트 하강법이 비선형 회귀에서 국소 최적점이 아닌 임계점을 피하는가?
• RQ3 표준 잔여망에서 시그모이드 활성화를 갖는 매개변수 그래디언트 방법은 왜 근접 항등함수 영역에서 국소 최적점이 아닌 임계점을 피하지 못하는가?
• RQ4 딥 잔여망의 표현력과 비기능적 매개변수화 대비 매개변수적 매개변수화 하에서의 최적화 지형 간의 관계는 무엇인가?
• RQ5 정규화 또는 조기 정지를 통해 근접 항등함수 성질을 유지할 경우, 잔여망 최적화의 수렴 성질은 어떻게 영향을 받는가?

주요 결과

• 모든 매끄럽고 비리프시츠 함수 $ h $ 는 $ m $ 개의 함수 $ h_i = \mathrm{Id} + N_i $ 의 복합으로 정확히 표현될 수 있으며, $ \|N_i\|_L \leq C/m $ 이므로 각 $ N_i $ 는 작은 왜곡임을 보장한다.
• 비선형 회귀에서, 함수 $ h_i $ 에 대한 이차 손실의 임계점(프레셰 도함수 기반)은 반드시 전역 최소화자여야 하며, 이는 근접 항등함수 영역에 국소 최적점이 존재하지 않음을 의미한다.
• 반면에, 시그모이드 활성화를 갖는 매개변수 잔여망에서는 실현 가능한 경우에도 회귀 문제에서 그래디언트 하강법이 국소 최적점이 아닌 임계점으로 수렴할 수 있음을 보여주는 반례가 존재한다.
• 기능적 그래디언트 방법은 층 간 상호작용 덕분에 나쁜 임계점을 피하는 반면, 매개변수 방법은 각 층 내부의 동적 특성으로 인해 이러한 문제에 취약하다.
• 이 결과는 주어진 매개변수화 하에서 딥 잔여망에서 기능적 그래디언트 하강법이 전역 수렴성을 갖는다는 것을 시사하며, 이는 표준 매개변수 학습과는 다름을 의미한다.
• 항등함수에서 작은 리프시츠 편차를 유지하도록 정규화하면 과적합을 방지하고 기능 공간 내 효과적인 방향의 수를 늘려 최적화를 향상시킬 수 있다.