[논문 리뷰] Generalizing and Improving Weight Initialization.

Dan Hendrycks, Kevin Gimpel|arXiv (Cornell University)|2016. 07. 08.

Advanced Neural Network Applications참고 문헌 2인용 수 3

한 줄 요약

이 논문은 드롭아웃과 비선형성의 영향으로 인한 활성화 분산의 변화를 고려한 보정된 가중치 초기화 방법을 제안하며, 깊은 신경망의 정확도를 향상시킨다. 추론 시 드롭아웃을 끈 상태에서 배치 정규화의 이동 분산 추정치를 보정함으로써, 데이터 증강 없이 CIFAR-10 및 CIFAR-100에서 최신 기준 성능을 달성한다.

ABSTRACT

We show how to adjust for the variance introduced by dropout with corrections to weight initialization and Batch Normalization, yielding higher accuracy. Though dropout can preserve the expected input to a neuron between train and test, the variance of the input differs. We thus propose a new weight initialization by correcting for the influence of dropout rates and an arbitrary nonlinearity's influence on variance through simple corrective scalars. Since Batch Normalization trained with dropout estimates the variance of a layer's incoming distribution with some inputs dropped, the variance also differs between train and test. After training a network with Batch Normalization and dropout, we simply update Batch Normalization's variance moving averages with dropout off and obtain state of the art on CIFAR-10 and CIFAR-100 without data augmentation.

연구 동기 및 목표

• 딥 신경망에서 드롭아웃으로 인해 발생하는 훈련과 추론 간 분산 불일치 문제를 해결하기 위해.
• 보정 스칼라를 통해 드롭아웃 비율과 비선형성의 영향을 통합하여 가중치 초기화를 개선하기 위해.
• 추론 시 드롭아웃을 끈 상태에서 배치 정규화의 이동 분산 추정치를 재계산하여 드롭아웃 상황에서의 성능을 향상시키기 위해.
• 데이터 증강 없이 CIFAR-10 및 CIFAR-100에서 최신 기준 정확도를 달성하기 위해.

제안 방법

• 드롭아웃으로 인한 분산 변화와 특정 비선형성의 영향을 보정하기 위해 보정 스칼라를 적용하는 새로운 가중치 초기화 기법을 도입한다.
• 드롭아웃 비율과 비선형성의 두 번째 모멘트를 기반으로 한 스케일링 인자를 유도하여 각 레이어 간 활성화 분산을 안정화시킨다.
• 드롭아웃을 끈 상태에서 추론 시 배치 정규화의 이동 분산 통계치를 재계산함으로써 배치 정규화를 수정하여 일관된 정규화를 보장한다.
• 표준 합성곱 신경망에 대해 CIFAR-10 및 CIFAR-100에서 훈련할 때 보정된 초기화 및 분산 재계산을 적용한다.
• 추가 하이퍼파ram터나 훈련 수정 없이도 단순하고 분석적으로 근거가 있는 보정을 적용한다.
• 표준 벤치마크에서 방법을 검증하여 다양한 아키텍처에서 일관된 정확도 향상을 입증한다.

실험 결과

연구 질문

• RQ1 드롭아웃이 훈련 시 활성화 분산에 미치는 영향은 추론 시와 어떻게 다를까?
• RQ2 드롭아웃과 비선형성의 영향을 체계적으로 보정할 수 있는 가중치 초기화 방법은 존재하는가?
• RQ3 드롭아웃 상태에서의 분산 추정 불일치가 배치 정규화 성능에 어떤 영향을 미치는가?
• RQ4 추론 시 개선된 분산 추정이 데이터 증강 없이도 더 높은 테스트 정확도를 가능하게 하는가?
• RQ5 제안된 보정 방법이 CIFAR-10 및 CIFAR-100과 같은 표준 비전 벤치마크에서 최신 기준 성능을 달성하는가?

주요 결과

• 제안된 가중치 초기화 방법은 드롭아웃과 비선형성으로 인한 분산 변화를 보정함으로써 테스트 정확도를 크게 향상시킨다.
• 드롭아웃을 끈 상태에서 추론 시 배치 정규화의 이동 분산 추정치를 업데이트하면 일반화 성능이 향상된다.
• 이 방법은 데이터 증강 없이도 CIFAR-10 및 CIFAR-100에서 최신 기준 성능을 달성한다.
• 보정 방법은 다양한 신경망 아키텍처에 효과적이며 추가 하이퍼파ram터가 필요하지 않다.
• 정확도 향상의 근본 원인은 테스트 시 사용하는 분산 추정치가 드롭아웃 하에서 진짜 기대 활성화 분산과 일치하도록 만든 데 있다.
• 이 방법은 단순하고 분석적으로 타당하며, 최소한의 수정으로 기존 모델에 직접 적용할 수 있다.