[논문 리뷰] On the Theory of Implicit Deep Learning: Global Convergence with Implicit Layers

Kenji Kawaguchi|arXiv (Cornell University)|2021. 02. 15.

Sparse and Compressive Sensing Techniques참고 문헌 54인용 수 14

한 줄 요약

이 논문은 비선형성과 비볼록 손실 함수를 갖는 깊이 평형 선형 모델(DELMs)에 대해 경사 하강 동역학을 이용하여 전역 최적해로의 전역 수렴을 확립한다. 비볼록성에도 불구하고 너비에 대한 가정 없이 선형 수렴 속도를 보이며, DELM 경사 하강 동역학과 신뢰 영역 뉴턴 방법 사이의 수학적 연결을 증명하여 암묵적 레이어의 암묵적 편향을 드러낸다.

ABSTRACT

A deep equilibrium model uses implicit layers, which are implicitly defined through an equilibrium point of an infinite sequence of computation. It avoids any explicit computation of the infinite sequence by finding an equilibrium point directly via root-finding and by computing gradients via implicit differentiation. In this paper, we analyze the gradient dynamics of deep equilibrium models with nonlinearity only on weight matrices and non-convex objective functions of weights for regression and classification. Despite non-convexity, convergence to global optimum at a linear rate is guaranteed without any assumption on the width of the models, allowing the width to be smaller than the output dimension and the number of data points. Moreover, we prove a relation between the gradient dynamics of the deep implicit layer and the dynamics of trust region Newton method of a shallow explicit layer. This mathematically proven relation along with our numerical observation suggests the importance of understanding implicit bias of implicit layers and an open problem on the topic. Our proofs deal with implicit layers, weight tying and nonlinearity on weights, and differ from those in the related literature.

연구 동기 및 목표

• 암묵적 레이어, 가중치 묶음, 가중치에만 비선형성이 존재하는 깊이 평형 모델(DELMs)의 경사 하강 동역학을 이론적으로 분석하기 위해.
• 깊이 평형 모델에서 비볼록 목표 함수에 대해 너비 제약 없이 전역 최적해로의 전역 수렴을 확립하기 위해.
• 얕은 명시적 네트워크에서 DELM 경사 하강 동역학과 신뢰 영역 뉴턴 방법 사이의 수학적 관계를 밝혀내기 위해.
• 이론적 및 수치적 분석을 통해 암묵적 레이어의 암묵적 편향을 탐구하기 위해.
• 무한 깊이, 가중치 묶음, 비선형 가중치 의존성을 포함하여 깊이 선형 네트워크를 넘는 이론적 이해를 확장하기 위해.

제안 방법

• 모델은 무한 깊이, 가중치 묶음 아키텍처를 사용하며, 각 레이어는 공유된 가중치 θ에 의존하는 비선형 변환을 적용한다.
• 출력은 반복 과정의 고정점으로 정의되며, z* = h(z*; x, θ)로 표현되며, 명시적 반복 대신 근을 찾는 방식으로 계산된다.
• 기울기는 암묵적 미분을 통해 계산되어 고정점에 대한 효율적인 역전파가 가능하다.
• 이론적 분석은 미분방정식과 리아푸노프 유사 추론을 활용하여 경사 유량 동역학을 연구한다.
• 핵심 전환은 DELM의 경사 하강 동역학을 얕은 명시적 네트워크에서 신뢰 영역 뉴턴 방법의 갱신 규칙으로 매핑하는 것이다.
• 비볼록 손실 함수에 대해 회귀 및 분류 문제 모두에서 일반적으로 수렴이 증명된다.

실험 결과

연구 질문

• RQ1 비볼록 손실 함수와 비선형 가중치 의존성을 갖는 깊이 평형 선형 모델에서 전역 수렴을 보장할 수 있는가?
• RQ2 암묵적 레이어의 경사 하강 동역학과 신뢰 영역 뉴턴과 같은 전통적 최적화 방법 사이의 관계는 무엇인가?
• RQ3 암묵적 레이어의 암묵적 편향은 깊이 평형 모델에서 최적화 및 일반화에 어떻게 영향을 주는가?
• RQ4 너비에 대한 가정이 없는 경우(예: 너비 ≥ 출력 차원), DELM에서 수렴 보장에 영향을 주는가?
• RQ5 깊이 선형 네트워크에 대한 이론적 프레임워크를 암묵적, 무한 깊이 모델, 가중치 묶음, 비선형 가중치를 포함하여 확장할 수 있는가?

주요 결과

• 비볼록 손실 함수에 대해 회귀 및 분류 문제 모두에서 전역 최적해로의 전역 수렴이 보장되며, 선형 수렴 속도를 갖는다.
• 모델 너비에 대한 어떤 가정 없이도 수렴 분석이 성립하며, 출력 차원이나 데이터 포인트 수보다 너비가 작은 경우에도 성립한다.
• 깊이 평형 선형 모델의 경사 하강 동역학과 얕은 명시적 네트워크에 적용된 신뢰 영역 뉴턴 방법 사이에 정확한 수학적 동치가 확립된다.
• 수치 결과는 이론적 연결을 확인하며, 암묵적 레이어의 암묵적 편향이 최적화 성능에서 핵심적인 역할을 한다고 시사한다.
• 기존의 깊이 선형 네트워크 연구와는 달리, 이 연구는 암묵적 레이어, 가중치 묶음, 가중치에 대한 비선형성을 고려한 증명을 제공한다.
• 암묵적 레이어의 암묵적 편향을 이해하는 데 열린 문제를 드러내며, 향후 연구에 있어 그 중요성을 강조한다.