[논문 리뷰] Stochastic Pooling for Regularization of Deep Convolutional Neural Networks

Matthew D. Zeiler, Rob Fergus|arXiv (Cornell University)|2013. 01. 16.

Advanced Neural Network Applications참고 문헌 7인용 수 573

한 줄 요약

이 논문은 깊이 있는 합성 신경망에 대한 초모수 없는 정규화 기법인 스토케스틱 풀링을 제안한다. 이 기법은 각 풀링 영역 내 활성화 값에 기반한 다항분포에서 무작위로 샘플링하는 방식으로 결정론적 최대 풀링 또는 평균 풀링을 대체한다. 이 방법은 과적합을 감소시키며, 데이터 증강 없이도 다양한 이미지 데이터셋에서 최신 기준 성능을 달성한다. 기존의 풀링 기법과 드롭아웃보다 뛰어난 성능을 보인다.

ABSTRACT

We introduce a simple and effective method for regularizing large convolutional neural networks. We replace the conventional deterministic pooling operations with a stochastic procedure, randomly picking the activation within each pooling region according to a multinomial distribution, given by the activities within the pooling region. The approach is hyper-parameter free and can be combined with other regularization approaches, such as dropout and data augmentation. We achieve state-of-the-art performance on four image datasets, relative to other approaches that do not utilize data augmentation.

연구 동기 및 목표

• 딥 컨volution 신경망에서 과적합 문제를 해결하기 위해, 특히 기존 정규화 기법인 드롭아웃이 덜 효과적인 컨볼루션 레이어에서의 과적합 문제를 해결하기 위해.
• 기존 네트워크 활성화 값을 활용하면서 정보를 손실시키지 않는 정규화 기법을 개발하기 위해.
• 데이터 증강에 의존하지 않고 이미지 분류 작업의 일반화 성능을 향상시키기 위해.
• 초모수를 조정할 필요가 없는 단순하고 즉시 적용 가능한 정규화 기법을 만들기 위해.
• 스토케스틱 풀링이 결정론적 풀링 및 기타 정규화 방법보다 뛰어난 테스트 정확도를 달성할 수 있음을 입증하기 위해.

제안 방법

• 각 풀링 영역 내 활성화 값에서 유도된 다항분포에서의 무작위 샘플링으로 기존의 결정론적 풀링(최대 또는 평균)을 대체한다.
• 풀링 영역의 확률을 정규화된 활성화 값으로 계산한다: $ p_i = \frac{a_i}{\sum_{k \in R_j} a_k} $, 여기서 $ a_i $ 는 영역 $ j $ 내 위치 $ i $ 에서의 활성화 값이다.
• 학습 중에 이 다항분포에서 활성화를 샘플링하여 확률적 요소를 도입함으로써 정규화 효과를 얻는다.
• 추론 중에도 동일한 스토케스틱 샘플링 과정을 사용하지만, 다중 전방 전파의 확률 가중 평균을 사용하여 정확도를 향상시킨다.
• 스토케스틱 풀링을 가중치 감쇠, 드롭아웃, 데이터 증강 등의 다른 정규화 기법과 결합한다.
• 복소화 신경망을 사용하여, 스토케스틱으로 선택된 풀링 위치를 이용해 입력 픽셀을 재구성함으로써 특징 맵을 시각화하고, 샘플 간의 구조적 일관성을 밝혀낸다.

실험 결과

연구 질문

• RQ1 스토케스틱 풀링은 결정론적 풀링 기법이 덜 효과적인 컨볼루션 레이어에서 깊이 있는 컨volution 신경망을 효과적으로 정규화하고 과적합을 줄일 수 있는가?
• RQ2 이미지 분류 작업에서 일반화 성능 측면에서 스토케스틱 풀링은 결정론적 풀링(최대 및 평균)과 비교해 어떻게 성능을 내는가?
• RQ3 특히 데이터 증강을 사용하지 않을 경우, 스토케스틱 풀링이 다른 정규화 기법과 조합되었을 때 최신 기준 성능을 달성할 수 있는가?
• RQ4 스토케스틱 샘플링 과정은 국소적인 특징 맵 변형을 통해 암묵적으로 데이터 증강을 생성하는 것으로 해석될 수 있는가?
• RQ5 스토케스틱 풀링의 다항분포 확률이, 복소화 시각화를 통해 드러나는 바와 같이 입력 데이터에 대한 의미 있는 구조적 정보를 얼마나 잘 캐릭터라이즈하는가?

주요 결과

• 스토케스틱 풀링을 사용해 훈련하고 확률 가중 평균을 사용해 테스트한 경우, CIFAR-10에서 테스트 오차가 15.12%를 기록했으며, 최대 풀링(17.66%)과 평균 풀링(53.50%)을 모두 뛰어넘었다.
• SVHN 데이터셋에서 스토케스틱 풀링을 사용해 훈련하고 확률 가중 평균을 사용해 테스트한 경우, 데이터 증강을 사용하지 않은 방법 중에서 최신 기준 성능을 기록했으며, 테스트 오차는 15.20%였다.
• 이 방법은 초모수가 없으며, 계산 오버헤드가 극히 적어 기존의 CNN 아키텍처에 쉽게 통합할 수 있다.
• 복소화 시각화 결과, 스토케스틱 풀링은 특징 맵의 구조적 정보를 유지하고 있으며, 특히 균일 분포가 아닌 전방 전파 확률에서 샘플링할 경우 더 두드러진다.
• 테스트 시 확률 가중 평균을 사용한 스토케스틱 풀링이 가장 뛰어난 성능을 보였으며, 이는 다중 스토케스틱 전방 전파를 앙상블하는 방식이 정확도를 향상시킨다는 것을 시사한다.
• 가중치 감쇠나 드롭아웃과 같은 다른 정규화 기법과 함께 사용되었을 때도 이 방법은 효과적이며, 상호 호환성과 누적 효과를 보여준다.