[논문 리뷰] A Deep Conditioning Treatment of Neural Networks

Naman Agarwal, Pranjal Awasthi외 1명|arXiv (Cornell University)|2020. 02. 04.

Adversarial Robustness in Machine Learning참고 문헌 82인용 수 4

한 줄 요약

이 논문은 활성화를 정규화하여 신경망의 데이터 조건을 향상시키는 딥 콬디셔닝 처리 방법을 제안한다. 이는 깊이가 커질수록 커널 행렬의 조건수를 1에 지수적으로 향상시켜, 과적합된 네트워크에서 더 빠른 훈련과 일반화를 가능하게 한다. 이 방법은 상층부 가중치 및 전체 가중치 훈련에 이론적 보장을 제공하며, 실험적으로 배치 정규화의 실용적 대안으로서의 유효성 있는 선택지인 정규화된 ReLU(NormReLU)를 검증한다.

ABSTRACT

We study the role of depth in training randomly initialized overparameterized neural networks. We give a general result showing that depth improves trainability of neural networks by improving the conditioning of certain kernel matrices of the input data. This result holds for arbitrary non-linear activation functions under a certain normalization. We provide versions of the result that hold for training just the top layer of the neural network, as well as for training all layers, via the neural tangent kernel. As applications of these general results, we provide a generalization of the results of Das et al. (2019) showing that learnability of deep random neural networks with a large class of non-linear activations degrades exponentially with depth. We also show how benign overfitting can occur in deep neural networks via the results of Bartlett et al. (2019b). We also give experimental evidence that normalized versions of ReLU are a viable alternative to more complex operations like Batch Normalization in training deep neural networks.

연구 동기 및 목표

• 과적합된 신경망의 훈련 가능성에 깊이가 어떻게 기여하는지, 데이터 조건 향상 측면에서 이해하는 것.
• 활성화 정규화가 활성화 유형에 관계없이 커널 행렬의 조건수를 감소시키는 역할을 수식화하는 것.
• 깊이가 커질수록 커널 행렬의 조건 수를 향상시켜 최적화 및 일반화를 지수적으로 향상시키는 방식으로, 훈련 성능을 향상시킨다는 것을 보여주는 것.
• 이 조건화 메커니즘이 랜덤 깊은 네트워크에서 유리한 과적합과 학습 가능성의 가능성을 제공한다는 것을 보여주는 것.
• CIFAR-10에서의 실험을 통해 배치 정규화의 실용적 대안으로서의 NormReLU를 제안하는 것.

제안 방법

• 기본 활성화 함수에 관계없이, 표준 정규 분포 입력을 가정할 때 출력이 평균 0, 분산 1이 되도록 활성화를 정규화하는 것.
• 깊이에 따라 조건수가 1에 수렴하는 속도를 측정하기 위해 비선형성 계수를 정의하는 것.
• 지루한 훈련 영역에서 상층부 훈련 및 전체 네트워크 훈련 상황에서 커널 행렬의 조건수를 분석하는 것.
• 작은 학습률을 가진 전체 가중치 훈련으로 결과를 확장하기 위해 신경 탄성 커널(NTK) 프레임워크를 사용하는 것.
• 아키텍처 변경 없이도 적용 가능한 ReLU의 정규화된 변형인 NormReLU를 도입하는 것.
• 완전 연결 및 ResNet 아키텍처를 사용해 CIFAR-10에서 배치 정규화, 레이어 정규화, SeLU와의 비교 실험을 수행하는 것.

실험 결과

연구 질문

• RQ1 랜덤으로 초기화된 깊은 신경망에서 깊이가 커널 행렬의 조건 수에 어떻게 영향을 미치는가?
• RQ2 활성화 정규화가 다양한 활성화 함수에 관계없이 깊은 네트워크의 훈련 가능성 향상에 통합적으로 기여할 수 있는가?
• RQ3 초기 데이터 조건에 관계없이 깊이가 훈련 오차의 지수적 수렴 속도를 향상시키는가?
• RQ4 개선된 조건화 덕분에 랜덤 깊은 네트워크에서 유리한 과적합이 발생할 수 있는가?
• RQ5 NormReLU와 같은 정규화된 ReLU 변형이 배치 정규화를 대체할 수 있는가?

주요 결과

• 커널 행렬의 조건수는 깊이에 따라 비선형성 계수에 의해 결정되는 비율로 1에 지수적으로 수렴한다.
• 제곱 손실을 사용한 경사 하강법는 초기 데이터 조건에 관계없이 O(log(1/ε)) 반복 내에 ε 훈련 오차를 달성한다. 이는 깊이에 의한 조건 향상 덕분이다.
• 깊이에 비례해 지수적으로 많은 쿼리가 필요로 하며, 초기화에 대한 상수 확률 조건 하에서도 깊은 랜덤 신경망이 목표 함수를 학습하기 위해 필요한 양이다.
• 깊은 랜덤 네트워크에서 최소 노름 보간 해는 비잔연한 초과 위험을 달성할 수 있으며, 이는 양호한 과적합을 보여준다.
• CIFAR-10에서 NormReLU는 배치 정규화 및 레이어 정규화와 유사한 테스트 정확도를 달성하며, 더 깊은 네트워크에서는 약간 더 뛰어난 성능을 보였다.
• 완전 연결 및 잔차 아키텍처에서 NormReLU는 SeLU를 능가하거나 동등하게 성능을 내어 배치 정규화의 실용적 대안으로서의 가능성을 시사한다.