[논문 리뷰] Fractional Max-Pooling

Benjamin Graham|arXiv (Cornell University)|2014. 12. 18.

Advanced Neural Network Applications참고 문헌 14인용 수 335

한 줄 요약

이 논문은 비정수 요소(1 < α < 2)를 사용해 특징 맵의 크기를 감소시키는 확률적 공간 풀링 방법인 분수 최대 풀링(FMP)을 소개한다. 이는 더 세밀한 특징 계층 구조를 가능하게 하고 불변성을 향상시킨다. FMP는 과적합을 줄이고 드롭아웃 없이 CIFAR-100에서 최신 기술 수준의 성능을 달성하며, MNIST, CIFAR-10 및 수기 문자 인식 작업을 포함한 여러 데이터셋에서 표준 2×2 최대 풀링을 능가한다.

ABSTRACT

Convolutional networks almost always incorporate some form of spatial pooling, and very often it is alpha times alpha max-pooling with alpha=2. Max-pooling act on the hidden layers of the network, reducing their size by an integer multiplicative factor alpha. The amazing by-product of discarding 75% of your data is that you build into the network a degree of invariance with respect to translations and elastic distortions. However, if you simply alternate convolutional layers with max-pooling layers, performance is limited due to the rapid reduction in spatial size, and the disjoint nature of the pooling regions. We have formulated a fractional version of max-pooling where alpha is allowed to take non-integer values. Our version of max-pooling is stochastic as there are lots of different ways of constructing suitable pooling regions. We find that our form of fractional max-pooling reduces overfitting on a variety of datasets: for instance, we improve on the state-of-the art for CIFAR-100 without even using dropout.

연구 동기 및 목표

• 표준 2×2 최대 풀링의 한계를 해결하기 위해, 이는 공간 해상도를 급격히 감소시키고 일반화를 방해하는 분리된 풀링 영역을 생성한다.
• 더 부드럽고 비정수 풀링 요소 α(1 < α < 2)가 특징 계층 구조와 모델의 강건성 향상에 기여할 수 있는지 탐색한다.
• 스토캐스틱하고 겹치는, 그리고 의사난수 기반의 풀링 영역 선택 방식이 성능와 일반화에 미치는 영향을 조사한다.
• 드롭아웃이나 광범위한 데이터 증강이 없는 조건에서 FMP가 과적합을 줄이고 정확도를 향상시키는 데 얼마나 효과적인지 평가한다.

제안 방법

• FMP는 표준 2×2 풀링이 반으로 줄이는 것과 달리, 비정수 풀링 요소 α(예: √2, ∛2)를 사용해 공간 차원을 분수 요소로 감소시킨다.
• 풀링 영역은 특징 맵 전반에 걸쳐 확률적으로 선택되며, 이는 풀링 연산에 통제된 변동성을 도입한다.
• 영역 간 겹침을 允허함으로써 공간 연속성과 특징 맥락을 유지함으로써, 분리된 영역보다 성능 향상을 이룬다.
• 각 영역 내에서는 최대 풀링을 사용하지만, 영역의 배치와 크기를 α에 따라 변형시켜 다중 척도 특징 표현을 가능하게 한다.
• 의사난수 및 겹치는 풀링 영역이 무작위 또는 분리된 구성보다 더 우수한 성능을 내며, 특히 데이터 증강과 조합했을 때 유의미한 개선이 있다.
• 깊이 있는 CNN 아키텍처에 적용되며, 표준 최대 풀링 레이어를 대체해 공간 해상도를 더 오래 유지한다.

실험 결과

연구 질문

• RQ1 비정수 풀링 요소 α(1 < α < 2)가 표준 2×2 최대 풀링에 비해 컨volutional 네트워크의 일반화 능력을 향상시킬 수 있는가?
• RQ2 FMP에서 스토캐스틱하고 겹치는 풀링 영역 선택 방식이 CIFAR-100 및 MNIST와 같은 작은 데이터셋에서 과적합을 줄이고 성능을 향상시키는가?
• RQ3 FMP는 소규모 왜곡 및 이동에 대한 불변성을 인코딩하는 데 있어 데이터 증강과 드롭아웃에 비해 어떻게 비교되는가?
• RQ4 의사난수 대비 무작위 영역 선택 방식이 다른 정규화 기법과 조합했을 때 모델 성능에 영향을 미치는가?
• RQ5 FMP는 드롭아웃이나 광범위한 데이터 증강에 의존하지 않고도 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• CIFAR-100에서 α = √2를 사용한 FMP는 12번의 무작위 가중치 초기화를 거쳐 테스트 오차 26.39%를 기록했으며, 드롭아웃 없이도 표준 2×2 최대 풀링을 능가했다.
• MNIST에서는 겹치는 의사난수 기반 풀링 영역을 사용한 FMP가 12회의 시행 동안 테스트 오차를 0.32%로 줄였으며, 표준 2×2 최대 풀링의 0.54% 오차보다 유의미하게 낮았다.
• 아삼세 수기 문자 데이터셋에서 FMP 네트워크는 데이터 증강 없이도 0.7%의 오차(12회 시행)를 기록했으며, 애핀 변환을 적용한 MP2 네트워크의 1.8% 오차를 뛰어넘었다.
• CASIA-OLHWDB1.1에서 FMP는 테스트 오차를 2.97%(12회 시행)로 줄였고, 드롭아웃과 데이터 증강을 적용한 표준 MP2 기반 모델의 3.82% 오차보다 우수했다.
• CIFAR-10에서 FMP는 100회의 시행 동안 3.47%의 테스트 오차를 기록했으며, 동일한 증강 기법을 사용한 베이스라인 MP2 모델을 능가했고, 최상위 카글 풀이의 성능과도 동일했다.