[논문 리뷰] Convex Duality of Deep Neural Networks

Tolga Ergen, Mert Pilancı|arXiv (Cornell University)|2020. 02. 22.

Sparse and Compressive Sensing Techniques참고 문헌 6인용 수 8

한 줄 요약

이 논문은 노름 정규화된 딥 네ural 네트워크를 위한 볼록 쌍대성 프레임워크를 제안하며, 선형 및 ReLU 네트워크에서 최적의 가중치 행렬이 랭크-원이 되고 이전 층과 정렬됨을 증명한다. 깊은 네트워크에 대해 강한 쌍대성을 확립하고, 정규화된 ReLU 네트워크가 1차원 데이터에 대해 스플라인 보간을 제공함을 보여주며, 이는 이중층 네트워크에서 알려진 결과를 확장한 것이다.

ABSTRACT

We study regularized deep neural networks and introduce an analytic framework to characterize the structure of the hidden layers. We show that a set of optimal hidden layer weight matrices for a norm regularized deep neural network training problem can be explicitly found as the extreme points of a convex set. For two-layer linear networks, we first formulate a convex dual program and prove that strong duality holds. We then extend our derivations to prove that strong duality also holds for certain deep networks. In particular, for linear deep networks, we show that each optimal layer weight matrix is rank-one and aligns with the previous layers when the network output is scalar. We also extend our analysis to the vector outputs and other convex loss functions. More importantly, we show that the same characterization can also be applied to deep ReLU networks with rank-one inputs, where we prove that strong duality still holds and optimal layer weight matrices are rank-one for scalar output networks. As a corollary, we prove that norm regularized deep ReLU networks yield spline interpolation for one-dimensional datasets which was previously known only for two-layer networks. We then verify our theoretical results via several numerical experiments.

연구 동기 및 목표

• 노름 정규화된 딥 네럴 네트워크의 은닉 층 구조를 특성화하기 위한 분석적 프레임워크를 개발하는 것.
• 깊은 선형 네트워크에서 강한 쌍대성을 증명하고, 랭크-원 입력을 가진 ReLU 네트워크로 이를 확장하는 것.
• 최적의 가중치 행렬을 볼록 집합의 극단점으로 특성화하는 것.
• 노름 정규화된 ReLU 네트워크가 1차원 데이터를 스플라인을 통해 보간함을 확립하는 것. 이는 기존의 이중층 네트워크 결과를 확장한 것이다.

제안 방법

• 이중층 선형 네트워크에 대해 볼록 쌍대 프로그램을 수립하고 강한 쌍대성이 성립함을 증명한다.
• 최적의 가중치 행렬의 구조를 분석함으로써 볼록 쌍대성 프레임워크를 깊은 선형 네트워크로 확장한다.
• 깊은 선형 네트워크에서 각 최적의 가중치 행렬이 랭크-원이 되고, 출력이 스칼라일 경우 이전 층의 곱과 정렬됨을 증명한다.
• 벡터 출력과 다른 볼록 손실 함수를 분석하여 쌍대성 결과를 일반화한다.
• 랭크-원 입력을 가진 ReLU 네트워크로 분석을 확장하여, 강한 쌍대성이 여전히 성립함을 증명한다.
• 볼록 쌍대성을 활용하여, 노름 정규화된 ReLU 네트워크가 1차원 데이터셋에 대해 스플라인 보간을 생성함을 보여준다.

실험 결과

연구 질문

• RQ1 노름 정규화 하에 깊은 선형 네트워크에서 강한 쌍대성을 확립할 수 있는가?
• RQ2 깊은 선형 네트워크에서 최적의 가중치 행렬은 랭크-원이 되고 이전 층과 정렬되는가?
• RQ3 볼록 쌍대성 프레임워크는 랭크-원 입력을 가진 ReLU 네트워크로 확장될 수 있는가?
• RQ4 스칼라 출력을 가진 노름 정규화된 ReLU 네트워크는 1차원 데이터에 대해 스플라인 보간을 제공하는가?
• RQ5 쌍대성 프레임워크는 벡터 출력과 다른 볼록 손실 함수로 일반화될 수 있는가?

주요 결과

• 노름 정규화된 이중층 선형 네트워크에서 강한 쌍대성이 성립하여 정확한 쌍대 최적화가 가능하다.
• 스칼라 출력을 가진 깊은 선형 네트워크에서 각 최적의 가중치 행렬은 랭크-원이 되고 이전 층의 곱과 정렬된다.
• 벡터 출력을 가진 깊은 선형 네트워크에서 쌍대성 프레임워크는 일반적인 볼록 손실 함수로 확장된다.
• 랭크-원 입력을 가진 노름 정규화된 ReLU 네트워크는 강한 쌍대성을 확보하며, 스칼라 출력일 경우 최적의 가중치는 여전히 랭크-원을 유지한다.
• 동일한 쌍대성 프레임워크를 통해 노름 정규화된 ReLU 네트워크가 1차원 데이터를 스플라인을 통해 보간함을 증명할 수 있으며, 이는 기존의 이중층 네트워크 결과를 확장한 것이다.
• 수치 실험을 통해 최적의 가중치 행렬 구조와 쌍대 갭에 대한 이론적 예측이 확인된다.