[논문 리뷰] Adjusting for Dropout Variance in Batch Normalization and Weight Initialization

Dan Hendrycks, Kevin Gimpel|arXiv (Cornell University)|2016. 07. 08.

Advanced Neural Network Applications참고 문헌 13인용 수 15

한 줄 요약

이 논문은 드롭아웃 유도 변동성을 보정하기 위해 드롭아웃 비율과 비선형성 특성에 따라 초기화 스케일을 조정하는 새로운 가중치 초기화 방법을 제안하며, 훈련 후 배치 정규화의 분산 재추정 기법을 도입한다. 이러한 보정을 통해 데이터 증강 없이 CIFAR-10 및 CIFAR-100에서 최신 기준 성능을 달성하였으며, 드롭아웃을 적용한 네트워크의 수렴성과 안정성이 향상됨을 입증한다.

ABSTRACT

We show how to adjust for the variance introduced by dropout with corrections to weight initialization and Batch Normalization, yielding higher accuracy. Though dropout can preserve the expected input to a neuron between train and test, the variance of the input differs. We thus propose a new weight initialization by correcting for the influence of dropout rates and an arbitrary nonlinearity's influence on variance through simple corrective scalars. Since Batch Normalization trained with dropout estimates the variance of a layer's incoming distribution with some inputs dropped, the variance also differs between train and test. After training a network with Batch Normalization and dropout, we simply update Batch Normalization's variance moving averages with dropout off and obtain state of the art on CIFAR-10 and CIFAR-100 without data augmentation.

연구 동기 및 목표

• 드롭아웃으로 인해 발생하는 분산 불일치 문제를 해결함으로써, 가중치 초기화 및 배치 정규화에 영향을 주는 것을 목표로 한다.
• 배치 통계나 특수한 전방향 계산을 필요로 하지 않으면서도 드롭아웃 비율과 비선형성의 압축성 특성을 반영한 단순하고 효율적인 가중치 초기화 기법을 개발하는 것.
• 훈련 시 드롭아웃이 포함된 반면 추론 시 드롭아웃이 제거되는 상황에서 배치 정규화의 이동 분산 추정치 간 괴리 문제를 보정하는 것.
• 드롭아웃 정규화를 적용한 완전 연결 및 컨볼루션 네트워크에서 훈련 안정성과 테스트 정확도를 향상시키는 것.
• 데이터 증강 없이도 표준 벤치마크인 CIFAR-10 및 CIFAR-100에서 최고 성능을 달성하는 것.

제안 방법

• 새로운 가중치 초기화 스케일링 인자 제안: $ W^{l} / \sqrt{ \mathbb{E}[f(z^{l-1})^2]/p + p\mathbb{E}[f'(z^l)^2] } $, 여기서 $ p $ 는 드롭아웃 유지 비율이며 $ f $ 는 활성화 함수이다.
• 드롭아웃 하에서 입력 및 기울기 분포의 안정성을 확보하기 위해 전방향 및 역방향 전파 분산 보정을 유도한다.
• 훈련 후 훈련 세트를 드롭아웃 비활성화 상태로 전달하여 이동 통계를 업데이트함으로써 배치 정규화의 이동 분산을 재추정하는 후처리 절차를 도입한다.
• 완전 연결 네트워크와 DenseNets에 이 방법을 적용하여 아키텍처 간 일관된 성능 향상을 입증한다.
• 실제 측정치가 없을 경우 비선형성의 압축성에 대해 기본 0.5 보정 인자를 사용하며, Xavier 및 He 초기화와 연결된다.
• 배치 통계나 특수한 전방향 계산을 피하기 위해 단위 구면 가중치 초기화에 보정 스케일링을 적용한다.

실험 결과

연구 질문

• RQ1 드롭아웃은 뉴런 입력과 기울기의 분산에 어떤 영향을 미치며, 이는 가중치 초기화에서 보정될 수 있는가?
• RQ2 배치 통계에 의존하지 않고도 드롭아웃 하에서 안정적인 훈련을 보장할 수 있는 단순하고 반복되지 않는 가중치 초기화 방법은 존재하는가?
• RQ3 왜 드롭아웃으로 훈련된 배치 정규화는 추론 시 일반화가 잘 되지 않으며, 그 분산 추정치는 어떻게 후처리로 보정할 수 있는가?
• RQ4 훈련 후 배치 정규화의 이동 분산을 재추정하는 것이 표준 비전 벤치마크에서 테스트 정확도를 향상시킬 수 있는가?
• RQ5 전방향 및 역방향 전파 분산을 동시에 고려한 통합 초기화 체계는 드롭아웃 하에서 수렴성과 정확도 향상에 기여하는가?

주요 결과

• 제안된 드롭아웃 보정 가중치 초기화 방법은 다양한 드롭아웃 비율에서도 20층 완전 연결 네트워크에서 계층 간 안정적인 입력 분산을 유지한다.
• 드롭아웃 적용 시 Xavier 및 He 초기화보다 안정성이 뛰어나지 않으며, 폭발하거나 소멸하는 활성화를 방지한다.
• 훈련 후 드롭아웃 비활성화 상태로 훈련 세트를 전달하여 배치 정규화의 이동 분산을 재추정함으로써 CIFAR-10의 테스트 오차를 5.62%에서 5.38%로 개선했다.
• CIFAR-100에서는 데이터 증강 없이도 테스트 오차를 23.65%에서 22.17%로 감소시켜 최신 기준 성능을 달성했다.
• 일부 설정에서는 정확도를 2% 이상 향상시켜 고도로 정규화된 환경에서 뚜렷한 성과 향상을 보였다.
• 이 방법은 아키텍처 변경 없이도 다양한 아키텍처, 특히 DenseNets에서도 일반적이고 효과적으로 작동하며 추론 시 추가 계산이 필요하지 않다.