[논문 리뷰] Demystifying Batch Normalization in ReLU Networks: Equivalent Convex Optimization Models and Implicit Regularization

Tolga Ergen, Arda Sahiner외 4명|arXiv (Cornell University)|2021. 03. 02.

Advanced Neural Network Applications참고 문헌 30인용 수 9

한 줄 요약

이 논문은 배치 정규화(BN)를 갖는 ReLU 신경망에 대한 정확한 볼록 최적화 프레임워크를 제안하며, BN이 특징을 암묵적으로 화이트닝하고 학습 중에 고특이값 방향을 향한 편향을 유도함을 밝혀낸다. 고차원 및 과다매개변수화된 환경에서 최적 가중치에 대한 폐쇄형 해를 도출하고, 명시적 정규화가 BN 신경망에서 경사하강법의 암묵적 편향을 모방함으로써 CIFAR-10에서 성능 향상을 이룬다.

ABSTRACT

Batch Normalization (BN) is a commonly used technique to accelerate and stabilize training of deep neural networks. Despite its empirical success, a full theoretical understanding of BN is yet to be developed. In this work, we analyze BN through the lens of convex optimization. We introduce an analytic framework based on convex duality to obtain exact convex representations of weight-decay regularized ReLU networks with BN, which can be trained in polynomial-time. Our analyses also show that optimal layer weights can be obtained as simple closed-form formulas in the high-dimensional and/or overparameterized regimes. Furthermore, we find that Gradient Descent provides an algorithmic bias effect on the standard non-convex BN network, and we design an approach to explicitly encode this implicit regularization into the convex objective. Experiments with CIFAR image classification highlight the effectiveness of this explicit regularization for mimicking and substantially improving the performance of standard BN networks.

연구 동기 및 목표

• 볼록 최적화를 사용하여 ReLU 신경망에서 배치 정규화를 이론적으로 완전히 기술하는 것.
• 표준 볼록 설정에서 누락된, BN 신경망에서 경사하강법이 유도하는 암묵적 정규화 효과를 밝혀내는 것.
• BN 신경망에서 경사하강법의 알고리즘적 편향을 반영하는 명시적 정규화 기법을 개발하는 것.
• CNN과 벡터 출력을 포함한 볼록 최적화 프레임워크를 깊이 있는 ReLU 신경망에까지 확장하는 것.
• 고차원 환경에서 최적 가중치가 볼록 쌍대성에 의해 폐쇄형 해로 계산될 수 있음을 보여주는 것.

제안 방법

• 가중치 감소 정규화가 적용된 ReLU 신경망에 대해 볼록 쌍대성을 사용하여 유한차원 볼록 문제로의 등가 변환을 도출한다.
• BN이 데이터 행렬에 대해 화이트닝 효과를 유도하며, SVD를 통해 중심이 제거되고 화이트닝된 형태로 변형됨을 드러낸다.
• 입력 행렬이 전행랭크를 갖는 고차원 환경($n \leq d$)에서 두 층 신경망의 최적 레이어 가중치에 대한 폐쇄형 해를 유도한다.
• BN 신경망에서 경사하강법이 데이터의 고특이값 방향을 암묵적으로 정규화함을 밝히며, 이는 표준 볼록 설정에서는 반영되지 않는다.
• 구조적 노름을 사용하여 이 암묵적 정규화를 볼록 목표 함수에 명시적으로 통합하는 방법을 제안한다.
• 이 프레임워크를 깊이 있는 네트워크, CNN, ReLU 이후 BN, 임의의 볼록 손실 함수에 적용하여 이전의 볼록 ReLU 신경망 결과를 일반화한다.

실험 결과

연구 질문

• RQ1 배치 정규화가 포함된 ReLU 신경망을 볼록 최적화를 통해 어떻게 공식적으로 기술할 수 있는가?
• RQ2 BN 신경망에서 경사하강법이 초래하는 암묵적 정규화 효과는 무엇이며, 표준 볼록 설정과는 어떻게 다를까?
• RQ3 BN 신경망에서 경사하강법의 암묵적 편향을 볼록 최적화 프레임워크에서 명시적으로 모델링할 수 있는가?
• RQ4 과다매개변수화되고 고차원적인 ReLU 신경망에 대해 BN이 있는 경우 최적 가중치에 대한 폐쇄형 해는 무엇이 있는가?
• RQ5 BN의 위치(ReLU 이전 또는 이후)가 결과적인 볼록 최적화 모델과 특징 화이트닝에 어떻게 영향을 미치는가?

주요 결과

• BN과 가중치 감소 정규화가 적용된 ReLU 신경망의 최적 해는 등가적으로 유한차원 볼록 문제로 재구성될 수 있다.
• 배치 정규화는 데이터 행렬에 대해 화이트닝 효과를 유도하며, SVD를 통해 중심이 제거되고 화이트닝된 형태로 변형되며, 이는 볼록 쌍대성을 통해 명시적으로 드러난다.
• 입력 데이터가 전행랭크를 갖는 고차원 환경($n \leq d$)에서 두 층 신경망의 최적 해는 $\mathbf{w}^{(1)*} = \mathbf{X}^\dagger(\mathbf{y} - \min_i y_i)$, $w^{(2)*} = (\|\mathbf{y}\|_2 - \beta)_+$ 로 폐쇄형으로 계산될 수 있다.
• BN 신경망에서의 경사하강법은 데이터의 고특이값 방향을 향한 암묵적 편향을 유도하지만, 이는 표준 화이트닝된 데이터의 볼록 설정에서는 존재하지 않는다.
• 이 암묵적 편향을 볼록 모델에 명시적으로 정규화하여 통합함으로써 CIFAR-10에서 성능 향상이 이루어지며, 제안된 프레임워크의 효과성을 입증한다.
• 이 프레임워크는 깊이 있는 네트워크, CNN, ReLU 이후 BN, 벡터 출력 네트워크로까지 일반화되며, 이전의 볼록 ReLU 신경망 결과를 두 층 완전연결 네트워크를 초월해 확장한다.