[논문 리뷰] Max-Pooling Dropout for Regularization of Convolutional Neural Networks

Haibing Wu, Xiaodong Gu|arXiv (Cornell University)|2015. 12. 04.

Advanced Neural Network Applications참고 문헌 8인용 수 20

한 줄 요약

이 논문은 훈련 중에 표준 max-pooling을 확률적이고 확률적으로 가중된 풀링 방법으로 대체하는 정규화 기법인 max-pooling dropout을 제안한다. 이는 테스트 시 모델 평균화를 시뮬레이션한다. 이 방법은 활성화 값에 대한 다항분포로부터의 확률적 샘플링을 통해 난수성을 도입함으로써 이미지 분류 벤치마크에서 표준 max-pooling과 확률적 풀링보다 우수한 일반화 성능을 보인다.

ABSTRACT

Recently, dropout has seen increasing use in deep learning. For deep convolutional neural networks, dropout is known to work well in fully-connected layers. However, its effect in pooling layers is still not clear. This paper demonstrates that max-pooling dropout is equivalent to randomly picking activation based on a multinomial distribution at training time. In light of this insight, we advocate employing our proposed probabilistic weighted pooling, instead of commonly used max-pooling, to act as model averaging at test time. Empirical evidence validates the superiority of probabilistic weighted pooling. We also compare max-pooling dropout and stochastic pooling, both of which introduce stochasticity based on multinomial distributions at pooling stage.

연구 동기 및 목표

• 드롭아웃가 완전히 연결된 레이어에 비해 덜 이해된 풀링 레이어에 드롭아웃의 효과를 조사하는 것.
• max-pooling과 드롭아웃 유사 정규화 기법 간의 상호작용에 대한 이론적 및 실험적 이해 부족을 해결하는 것.
• 추론 시점에서 모델 평균화를 수행하는 새로운 확률적 가중 풀링 메커니즘을 제안하는 것.
• 일반화 및 성능 측면에서 기존의 확률적 풀링 방법과 max-pooling dropout을 비교하는 것.

제안 방법

• 훈련 중에 활성화 값을 다항분포에 따라 샘플링하는 확률적 풀링 연산으로 표준 max-pooling을 대체한다.
• 각 풀링 영역에서 특징 맵 활성화 값에 대한 다항분포에서의 샘플링과 동일한 max-pooling dropout을 수학적으로 정식화한다.
• 특징 맵 값에서 유도된 소프트맥스 확률을 사용해 활성화 값의 가중 평균을 계산하는 확률적 가중 풀링 레이어를 도입한다.
• 테스트 시점에 동일한 확률적 풀링 레이어를 사용하여 다수의 확률적 순방향 전파를 통해 모델 평균화를 수행한다.
• 표준 backpropagation를 사용해 네트워크를 훈련하며, 계산 효율성을 유지한다.
• 기준 이미지 분류 데이터셋에서 제안된 방법을 표준 max-pooling 및 확률적 풀링과 비교한다.

실험 결과

연구 질문

• RQ1 max-pooling dropout은 일반화 및 테스트 정확도 측면에서 표준 max-pooling보다 어떻게 다를까?
• RQ2 다항분포 샘플링 기반의 확률적 풀링은 합성곱 신경망에서 모델의 강건성과 일반화를 향상시킬 수 있는가?
• RQ3 제안된 확률적 가중 풀링 레이어는 테스트 시점에서 효과적으로 모델 평균화를 수행하는가?
• RQ4 max-pooling dropout과 활성화 값에 대한 다항분포 샘플링 간의 이론적 동치성은 무엇인가?
• RQ5 기존의 확률적 풀링 접근법 대비 제안된 방법은 표준 벤치마크에서 어떻게 성능을 내는가?

주요 결과

• max-pooling dropout는 훈련 중 활성화 값을 다항분포에서 샘플링하는 것과 이론적으로 동치이며, 체계적인 확률적 정규화 메커니즘을 제공한다.
• 제안된 확률적 가중 풀링은 CIFAR-10 및 CIFAR-100 데이터셋에서 표준 max-pooling 및 확률적 풀링보다 더 우수한 일반화 성능을 달성한다.
• 실험 결과는 확률적 풀링을 통한 테스트 시점 모델 평균화가 깊은 네트워크에서 특히 뚜렷한 정확도 향상을 이끌어낸다는 것을 보여준다.
• 이 방법은 풀링 레이어에 의미 있는 난수성을 도입하면서도 계산 효율성을 유지한다.
• 여러 실험에서 표준 max-pooling 및 확률적 풀링 대비 테스트 정확도 및 강건성 측면에서 본 방법이 뛰어난 성능을 보였다.