[논문 리뷰] Drop-Activation: Implicit Parameter Reduction and Harmonic Regularization

Senwei Liang, Yuehaw Khoo외 1명|arXiv (Cornell University)|2018. 11. 14.

Advanced Neural Network Applications참고 문헌 30인용 수 5

한 줄 요약

이 논문은 훈련 중에 ReLU 활성화 함수를 무작위로 항등 맵핑으로 대체함으로써 암묵적으로 모델 파라미터를 줄이고 일반화 성능을 향상시키는 새로운 정규화 방법인 Drop-Activation을 제안한다. 이 방법은 배치 정규화와 호환되며, 추론 복잡도를 증가시키지 않으면서도 CIFAR-10, CIFAR-100, SVHN, EMNIST 및 ImageNet 벤치마크에서 일관되게 테스트 정확도를 향상시킨다.

ABSTRACT

Overfitting frequently occurs in deep learning. In this paper, we propose a novel regularization method called Drop-Activation to reduce overfitting and improve generalization. The key idea is to drop nonlinear activation functions by setting them to be identity functions randomly during training time. During testing, we use a deterministic network with a new activation function to encode the average effect of dropping activations randomly. Our theoretical analyses support the regularization effect of Drop-Activation as implicit parameter reduction and verify its capability to be used together with Batch Normalization (Ioffe and Szegedy 2015). The experimental results on CIFAR-10, CIFAR-100, SVHN, EMNIST, and ImageNet show that Drop-Activation generally improves the performance of popular neural network architectures for the image classification task. Furthermore, as a regularizer Drop-Activation can be used in harmony with standard training and regularization techniques such as Batch Normalization and Auto Augment (Cubuk et al. 2019). The code is available at \url{https://github.com/LeungSamWai/Drop-Activation}.

연구 동기 및 목표

• 학습 데이터 크기보다 모델 용량이 큰 경우에 발생하는 과적합 문제를 해결한다.
• 구조적 변경 없이 효과적 파라미터 수를 암묵적으로 감소시키는 정규화 기법을 개발한다.
• 기존 훈련 기법(예: 배치 정규화 및 데이터 증강)과의 호환성을 확보한다.
• 이미지 분류 분야에서 다양한 아키텍처와 데이터셋에서 일관된 성능 향상을 입증한다.
• 암묵적 파라미터 감소와 분산 안정성에 기반한 정규화 효과에 대한 이론적 근거를 제공한다.

제안 방법

• 고정 확률로 훈련 중에 ReLU 활성화 함수를 항등 맵핑으로 무작위로 제거한다.
• 각 네트워크가 비선형성을 무작위로 활성화 또는 비활성화하는 스토케스틱 네트워크의 앙상블을 훈련한다.
• 추론 시에는 드롭된 비선형성과 유지된 비선형성의 평균 효과를 조합한 새로운 활성화 함수를 사용하는 결정론적 네트워크를 사용한다.
• 유도된 활성화 함수는 베르누이 드롭아웃에 대한 기대값에서 유도된 항등 함수와 ReLU 함수의 볼록 조합이다.
• 이론적 분석을 통해 Drop-Activation은 비선형성과 선형성 간의 차이를 암묵적으로 페널티 부여함으로써 더 단순하고 일반화 능력이 뛰어난 모델을 촉진함을 보여준다.
• 훈련 및 추론 중 활성화 분산이 일관되게 유지되어 배치 정규화 통계를 유지함으로써 BN과의 상호보완적 조합이 가능하다.

실험 결과

연구 질문

• RQ1 훈련 중 비선형 활성화 함수를 무작위로 제거하는 것이 깊이 신경망의 일반화 성능 향상에 기여할 수 있는가?
• RQ2 Drop-Activation은 효과적 파라미터 수를 암묵적으로 감소시키는가? 만약 그렇다면, 이는 모델 용량과 과적합에 어떤 영향을 미치는가?
• RQ3 Drop-Activation은 배치 정규화의 통계적 성질을 해치지 않고 효과적으로 통합될 수 있는가?
• RQ4 Cutout이나 AutoAugment와 같은 다른 정규화 기법과 조합했을 때 Drop-Activation의 성능는 어떠한가?
• RQ5 이 방법은 표준 벤치마크를 넘어서 다양한 아키텍처와 데이터셋으로 일반화되는가?

주요 결과

• CIFAR-10과 CIFAR-100에서 Drop-Activation은 일관되게 테스트 정확도를 향상시키며, 기준 모델 대비 오차율을 최대 1.5%까지 감소시킨다.
• SVHN과 EMNIST에서 Drop-Activation은 ResNet, WideResNet, DenseNet 등 여러 아키텍처에서 테스트 오차를 0.1–0.3% 감소시킨다.
• ImageNet에서 Drop-Activation은 ResNet34에서 상위-1 검증 오차를 0.22% 감소시키고, SE-ResNet50에서는 0.21% 감소시켜 스케일에 걸쳐도 효과적임을 입증한다.
• AutoAugment나 Cutout과 조합했을 경우, Drop-Activation은 추가로 테스트 오차를 감소시킨다. 예를 들어, AutoAugment와 Drop-Activation을 함께 사용했을 때 WideResNet28-10에서 CIFAR-100에서 1.84%의 오차 감소가 관찰되었다.
• Drop-Activation은 안정적인 배치 통계를 유지하여, Dropout과 달리 배치 정규화와의 원활한 통합이 가능하다.
• 각 활성화에 대한 무작위 베르누이 샘플링으로 인해 훈련 시간이 다소 증가하지만, 관리 가능한 수준을 유지한다. 예를 들어, 기준 모델 대비 WideResNet28-10에서 17.9% 증가하였다.