[논문 리뷰] Revealing the Structure of Deep Neural Networks via Convex Duality

Tolga Ergen, Mert Pilancı|arXiv (Cornell University)|2020. 02. 22.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 14

한 줄 요약

이 논문은 노름 정규화된 딥 네ural 네트워크에서 최적의 가중치 행렬을 특성화하기 위해 이중성(duality)을 사용하는 볼록 해석 프레임워크를 제안한다. 딥 선형 및 ReLU 네트워크에서 화이트닝되거나 秩-일( rank-one)인 데이터를 가진 경우, 최적의 가중치가 이전 층과 정렬됨을 증명하며, 이러한 네트워크가 1차원에서 선형 스퍼플 인터폴레이션을 제공함을 보여주며, 이는 이전의 두층 네트워크 결과를 일반화한다. 또한 배치 정규화된 네트워크에서 단순형 등각 타이트 프레임(Simplex equiangular tight frames)을 통해 신경망 붕괴(Neural Collapse) 현상을 설명한다.

ABSTRACT

We study regularized deep neural networks (DNNs) and introduce a convex analytic framework to characterize the structure of the hidden layers. We show that a set of optimal hidden layer weights for a norm regularized DNN training problem can be explicitly found as the extreme points of a convex set. For the special case of deep linear networks, we prove that each optimal weight matrix aligns with the previous layers via duality. More importantly, we apply the same characterization to deep ReLU networks with whitened data and prove the same weight alignment holds. As a corollary, we also prove that norm regularized deep ReLU networks yield spline interpolation for one-dimensional datasets which was previously known only for two-layer networks. Furthermore, we provide closed-form solutions for the optimal layer weights when data is rank-one or whitened. The same analysis also applies to architectures with batch normalization even for arbitrary data. Therefore, we obtain a complete explanation for a recent empirical observation termed Neural Collapse where class means collapse to the vertices of a simplex equiangular tight frame.

연구 동기 및 목표

• 정규화된 딥 네럴 네트워크에서 최적 해를 특성화하기 위한 볼록 해석 프레임워크를 개발하는 것.
• 딥 선형 및 ReLU 네트워크에서 최적의 은닉층 가중치의 구조적 성질을 설명하는 것.
• 이전의 두층 네트워크에 대한 1차원 스퍼플 인터폴레이션 결과를 임의의 깊이의 ReLU 네트워크로 일반화하는 것.
• 최신 모델에서 관찰된 신경망 붕괴 현상에 대한 이론적 설명을 제공하는 것.
• 화이트닝 또는 秩-일 데이터를 초월하여 배치 정규화를 통합함으로써 임의의 데이터 분포로의 결과 확장

제안 방법

• 정규화된 DNN 학습 문제를 볼록집합의 극단점들 위에서의 이중 최적화 문제로 재구성하기 위해 볼록 이중성을 사용한다.
• 이중성과 KKT 조건을 통해 데이터가 秩-일 또는 화이트닝된 경우 최적의 가중치 행렬에 대한 닫힌 해를 유도한다.
• ReLU 활성화 함수의 구조와 노름 정규화를 활용하여 프레임워크를 딥 ReLU 네트워크에 적용한다.
• 배치 정규화를 사용하여 결과를 임의의 데이터 분포로 확장함으로써 화이트닝이 필요 없도록 한다.
• 이중 문제 분석과 가중치 정렬을 통해 1차원에서 최적의 해가 선형 스퍼플 인터폴레이션과 대응됨을 증명한다.
• 균형 잡힌 클래스 분포와 노름 정규화 하에 클래스 평균이 단순형 등각 타이트 프레임의 정점으로 붕괴됨을 확립한다.

실험 결과

연구 질문

• RQ1 정규화된 딥 네럴 네트워크에서 최적의 가중치 행렬이 볼록 이중성을 통해 명시적으로 특성화될 수 있는가?
• RQ2 노름 정규화 하에 딥 ReLU 네트워크에서 연속된 층 간의 가중치 정렬 현상이 발생하는가?
• RQ3 노름 정규화된 딥 ReLU 네트워크는 1차원 설정에서 데이터를 선형 스퍼플 인터폴레이션으로 해석하는가?
• RQ4 볼록 이중성과 가중치 정렬을 통해 신경망 붕괴 현상에 대한 이론적 설명이 가능한가?
• RQ5 배치 정규화를 통해 임의의 데이터 분포에 대해 동일한 구조적 특성화가 가능한가?

주요 결과

• 딥 선형 네트워크에서 각 최적의 가중치 행렬은 볼록 이중성을 통해 이전 층과 정렬된다.
• 화이트닝되거나 秩-일인 데이터를 가진 딥 ReLU 네트워크에서 최적의 가중치는 동일한 정렬 성질을 보인다.
• 노름 정규화된 딥 ReLU 네트워크는 1차원 데이터에 대해 선형 스퍼플 인터폴레이션을 제공하며, 이는 이전의 두층 네트워크 결과를 임의의 깊이로 일반화한다.
• 데이터가 秩-일이거나 화이트닝된 경우 최적의 은닉층 가중치에 대한 닫힌 해가 도출된다.
• 배치 정규화를 통해 임의의 데이터 분포에 대해 동일한 가중치 정렬 및 스퍼플 인터폴레이션 결과가 유지된다.
• 프레임워크는 신경망 붕괴를 완전히 설명한다: 균형 잡힌 클래스 분포 하에서 클래스 평균은 단순형 등각 타이트 프레임의 정점으로 붕괴된다.