[논문 리뷰] Convex Geometry and Duality of Over-parameterized Neural Networks

Tolga Ergen, Mert Pilancı|arXiv (Cornell University)|2020. 02. 25.

Sparse and Compressive Sensing Techniques참고 문헌 56인용 수 9

한 줄 요약

이 논문은 과도하게 파rameter화된 두 층 ReLU 네트워크를 분석하기 위해 볼록 기하학적 프레임워크를 제안하며, 최적 해가 볼록 집합의 극단점으로 나타나며, ℓ₁-노름 희소성과 유사한 암묵적 정규화를 유도함을 보여준다. 일차원 및 질량-일차원 데이터에 대해 최적 네트워크가 선형 스퍼플 인터폴레이션을 유도하며, 볼록 리 릿지화와 커팅 평면 방법을 통해 닫힌 형식의 해와 전역 최적 알고리즘을 제공한다.

ABSTRACT

We develop a convex analytic approach to analyze finite width two-layer ReLU networks. We first prove that an optimal solution to the regularized training problem can be characterized as extreme points of a convex set, where simple solutions are encouraged via its convex geometrical properties. We then leverage this characterization to show that an optimal set of parameters yield linear spline interpolation for regression problems involving one dimensional or rank-one data. We also characterize the classification decision regions in terms of a kernel matrix and minimum $\ell_1$-norm solutions. This is in contrast to Neural Tangent Kernel which is unable to explain predictions of finite width networks. Our convex geometric characterization also provides intuitive explanations of hidden neurons as auto-encoders. In higher dimensions, we show that the training problem can be cast as a finite dimensional convex problem with infinitely many constraints. Then, we apply certain convex relaxations and introduce a cutting-plane algorithm to globally optimize the network. We further analyze the exactness of the relaxations to provide conditions for the convergence to a global optimum. Our analysis also shows that optimal network parameters can be also characterized as interpretable closed-form formulas in some practically relevant special cases.

연구 동기 및 목표

• 과도하게 파rameter화된 두 층 ReLU 네트워크에서의 암묵적 편향을 이해하기 위한 볼록 해석 프레임워크를 개발하는 것.
• 최적 네트워크 파ram터를 볼록 집합의 극단점으로 특성화하여 단순성과 기하학적 구조를 연결하는 것.
• 일차원 선형 스퍼플 인터폴레이션에 대한 기존 결과를 고차원 및 질량-일차원 회귀 및 분류 작업으로 확장하는 것.
• 볼록 리 릿지화와 커팅 평면 방법을 사용하여 유한 폭 네트워크의 전역 최적 학습 알고리즘을 제공하는 것.
• 볼록 리 릿지화가 정확하게 작동하는 조건을 확립하여 전역 최적해로의 수렴을 보장하는 것.

제안 방법

• ReLU 네트워크의 볼록 기하 표현을 통해 무한한 수의 제약 조건을 가진 유한 차원 볼록 최적화 문제로 정규화된 학습 문제를 재구성하는 것.
• 최적 해를 볼록 집합의 극단점으로 특성화하며, 데이터 적응형 자동에코더 유사 구조를 통해 단순성을 강제하는 것.
• 극대-극소 이중성과 게이지 최적화를 활용하여 이중 문제를 데이터 정렬 벡터의 볼록 결합으로 재표현하며, 최소 ℓ₁-노름 해와 연결하는 것.
• 무한한 수의 제약 조건을 가진 리 릿지화된 볼록 문제를 해결하기 위해 커팅 평면 알고리즘을 도입하며, 위반되는 제약 조건을 반복적으로 추가하는 것.
• 특수 케이스(예: 일차원, 질량-일차원 데이터)에서 최적 파aram터에 대한 정확한 해석적 표현을 유도하여 닫힌 형식의 해를 가능하게 하는 것.
• 특정 조건 하에서 볼록 리 릿지화의 정확성을 분석함으로써 강력한 이중성과 전역 최적해로의 수렴을 증명하는 것.

실험 결과

연구 질문

• RQ1 과도하게 파arameter화된 ReLU 네트워크에서 단순한 해로의 암묵적 편향을 볼록 기하학을 통해 공식적으로 특성화할 수 있는가?
• RQ2 유한 폭의 두 층 ReLU 네트워크에서 최적 네트워크 파aram터의 기하학적 구조는 무엇이며, 선형 스퍼플 인터폴레이션과 어떻게 관련되는가?
• RQ3 유한 폭 ReLU 네트워크의 학습을 볼록 리 릿지화와 커팅 평면 방법을 통해 전역적으로 최적화할 수 있는가?
• RQ4 네트워크 학습 문제의 볼록 리 릿지화가 정확한 전역 해를 제공하는 조건는 무엇인가?
• RQ5 ReLU 네트워크의 이중성 프레임워크는 선형 시스템에서의 고전적 최소 ℓ₁-노름 해와 어떻게 관련되는가?

주요 결과

• 정규화된 학습 문제의 최적 해는 볼록 집합의 극단점이며, 데이터 적응형 자동에코더 유사 구조를 통해 단순성이 강제된다.
• 일차원 및 질량-일차원 회귀 및 분류 작업에서 최적 네트워크 파aram터는 선형 스퍼플 인터폴레이션을 유도하며, 경험적 관찰을 설명한다.
• 이중 문제는 게이지 최적화 문제와 동치이며, 네트워크 해를 선형 시스템의 최소 ℓ₁-노름 해와 연결한다.
• 특정 조건 하에서 학습 문제의 볼록 리 릿지화는 정확하므로 커팅 평면 알고리즘을 통해 전역 최적화가 가능하다.
• 일차원 및 질량-일차원 데이터와 같은 특수 케이스에서 최적 파aram터에 대한 닫힌 형식의 해를 유도하였으며, 이는 의사 역행렬과 노름 임계값을 포함한 명시적 공식을 포함한다.
• 원 문제와 이중 문제 사이에 강력한 이중성이 성립하여 유도된 해의 최적성을 확인하고 이론적 보장을 제공한다.