[논문 리뷰] Improving the Trainability of Deep Neural Networks through Layerwise Batch-Entropy Regularization

David Peer, Bart J. Keulen외 3명|arXiv (Cornell University)|2022. 08. 01.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 각 층을 통해 정보가 긍정적으로 유 flow되도록 보장함으로써 깊은 신경망의 학습 가능성을 향상시키기 위해 계층별 배치 엔트로피 정규화를 도입한다. 이를 통해 스킵 연결, 배치 정규화 또는 기타 아키텍처 수정 없이도 500층의 '보편적' 완전 연결 및 컨볼루션 네트워크를 성공적으로 학습시킬 수 있다. 이 방법은 시각 및 NLP 작업에서 잔차 연결망, 오토인코더, 트랜스포머를 포함한 다양한 아키텍처에서 성능을 향상시킨다.

ABSTRACT

Training deep neural networks is a very demanding task, especially challenging is how to adapt architectures to improve the performance of trained models. We can find that sometimes, shallow networks generalize better than deep networks, and the addition of more layers results in higher training and test errors. The deep residual learning framework addresses this degradation problem by adding skip connections to several neural network layers. It would at first seem counter-intuitive that such skip connections are needed to train deep networks successfully as the expressivity of a network would grow exponentially with depth. In this paper, we first analyze the flow of information through neural networks. We introduce and evaluate the batch-entropy which quantifies the flow of information through each layer of a neural network. We prove empirically and theoretically that a positive batch-entropy is required for gradient descent-based training approaches to optimize a given loss function successfully. Based on those insights, we introduce batch-entropy regularization to enable gradient descent-based training algorithms to optimize the flow of information through each hidden layer individually. With batch-entropy regularization, gradient descent optimizers can transform untrainable networks into trainable networks. We show empirically that we can therefore train a "vanilla" fully connected network and convolutional neural network -- no skip connections, batch normalization, dropout, or any other architectural tweak -- with 500 layers by simply adding the batch-entropy regularization term to the loss function. The effect of batch-entropy regularization is not only evaluated on vanilla neural networks, but also on residual networks, autoencoders, and also transformer models over a wide range of computer vision as well as natural language processing tasks.

연구 동기 및 목표

• 깊이가 증가할수록 학습 오차와 테스트 오차가 증가하는 깊은 신경망의 성능 열화 문제를 해결한다.
• 정보 이론적 관점에서 깊은 네트워크에서의 학습 불가능성의 근본 원인을 조사한다.
• 각 층을 통해 정보가 긍정적으로 흐르도록 보장하는 정규화 방법을 개발하여 학습이 불가능한 네트워크를 학습 가능하게 한다.
• 잔차 연결망, 트랜스포머를 포함한 다양한 아키텍처와 작업에서 배치 엔트로피 정규화의 효과를 입증한다.
• 추가적인 사전 훈련 없이도 사전 훈련된 모델(예: BERT)의 일반화 능력과 성능을 향상시킨다.

제안 방법

• 미니배치 통계를 사용하여 각 층을 통과하는 정보 흐름의 척도로 배치 엔트로피를 정의한다.
• 이론적으로 어떤 층의 배치 엔트로피가 0일 경우 경사 하강법이 손실 함수를 최적화할 수 없음을 증명한다.
• 낮은 배치 엔트로피를 방지하고 학습 중 긍정적인 정보 흐름을 유지하기 위해 정규화 항 ℒ_BE를 도입한다.
• ℒ_BE를 전체 손실 함수에 통합하여 과제 성능과 네트워크 학습 가능성 둘 다 최적화한다.
• 완전 연결, 컨볼루션, 잔차, 오토인코더, 트랜스포머 아키텍처에 이 정규화를 적용한다.
• 배치 엔트로피 정규화의 강도를 조절하는 하이퍼파rameter α를 그리드 서치를 통해 튜닝한다.

실험 결과

연구 질문

• RQ1 왜 기하급수적 표현력이 있는 매우 깊은 '보편적' 신경망은 스킵 연결이나 정규화 없이도 학습에 실패하는가?
• RQ2 성공적인 경사 하강법 최적화를 위해 각 층에서 양의 배치 엔트로피가 필수 조건이 될 수 있는가?
• RQ3 스킵 연결이나 배치 정규화와 같은 아키텍처 수정 없이도 배치 엔트로피 정규화가 깊은 네트워크의 학습 가능성을 향상시킬 수 있는가?
• RQ4 배치 엔트로피 정규화는 잔차 연결망과 트랜스포머를 포함한 다양한 아키텍처에서 성능에 어떤 영향을 미치는가?
• RQ5 사전 훈련된 모델(예: BERT)의 성능을 추가 사전 훈련 없이도 배치 엔트로피 정규화로 향상시킬 수 있는가?

주요 결과

• 경사 하강법이 손실 함수를 최적화하기 위해서는 양의 배치 엔트로피가 필수적이다. 배치 엔트로피가 0이면 기울기 소실이 발생하고 최적화 불가능한 손실 표면이 된다.
• 배치 엔트로피 정규화를 통해 스킵 연결, 배치 정규화, 드롭아웃 없이도 500층의 완전 연결 및 컨볼루션 네트워크를 성공적으로 학습시킬 수 있다.
• 이 방법은 시각 및 NLP 작업에서 성능을 향상시키며, BERT Base에 ℒ_BE를 적용한 결과 BERT Large보다 0.07점 높은 MPRC 성능을 기록했다.
• 잔차 연결망은 높은 α 값(~1.0)에서 가장 큰 이점을 얻었고, 트랜스포머는 낮은 α 값(~0.3)에서 유리함을 보여, 정보 압축이 트랜스포머의 분류 성능 향상에 기여함을 시사한다.
• 배치 엔트로피 정규화는 일반화 능력을 향상시키며, 적대적 로버스트니스 향상에도 기여할 수 있으나, 이는 향후 연구가 필요하다.
• 이 정규화는 오토인코더와 트랜스포머를 포함한 다양한 아키텍처에서 효과적이며, 표준 피드포워드 네트워크를 초월한 광범위한 적용 가능성을 보여준다.