[논문 리뷰] Comparison of Methods Generalizing Max- and Average-Pooling

Florentin Bieder, Robin Sandkühler외 1명|arXiv (Cornell University)|2021. 03. 02.

Advanced Neural Network Applications참고 문헌 18인용 수 5

한 줄 요약

이 논문은 최대 풀링과 평균 풀링을 일반화하는 고급 풀링 방법을 비교하며, 최대 함수의 미분 가능 근사에 기반한 제안된 부드러운 최대 풀링(SMP) 방법을 포함한다. VGG16을 사용한 Google Open Images v5 데이터셋에서의 실험 결과, 표준 최대 풀링 또는 평균 풀링보다 성능 향상이 유의미하지 않으며, 대부분의 일반화된 방법이 ReLU 활성화 함수로 인해 최대 풀링 행동을 선호함을 확인하였다.

ABSTRACT

Max- and average-pooling are the most popular pooling methods for downsampling in convolutional neural networks. In this paper, we compare different pooling methods that generalize both max- and average-pooling. Furthermore, we propose another method based on a smooth approximation of the maximum function and put it into context with related methods. For the comparison, we use a VGG16 image classification network and train it on a large dataset of natural high-resolution images (Google Open Images v5). The results show that none of the more sophisticated methods perform significantly better in this classification task than standard max- or average-pooling.

연구 동기 및 목표

• 일반화된 최대 풀링 및 평균 풀링 방법이 이미지 분류 성능을 향상시키는지 평가하기.
• 제안된 부드러운 최대 풀링(SMP) 방법이 기존 일반화 방법보다 우월한 성능을 보이는지 조사하기.
• 학습된 네트워크에서 일반화된 풀링 레이어의 학습된 행동을 분석하기, 특히 최대 풀링 또는 평균 풀링 경향성에 초점 맞추기.
• 표준 분류 설정에서 고정된 최대 풀링 및 평균 풀링과 비교할 때 적응형 풀링 메커니즘의 영향 평가하기.

제안 방법

• 최대 함수의 미분 가능 근사인 로그-합-지수 공식을 활용해 부드러운 최대 풀링(SMP) 방법을 제안.
• SMP는 온도 하이퍼파라미터 τ로 파arameter화되며, τ → 0일 때 진정한 최대값에 수렴하고 τ → ∞일 때 평균에 수렴한다.
• 기존의 일반화된 풀링 방법, 예를 들어 순서 기반 풀링(OP)과 비교한다. OP는 정렬된 특징 값에 대해 학습 가능한 가중치를 사용한다.
• 스트라이드 컨벌루션, 평균 풀링, 최대 풀링, SMP, OP 등을 포함한 다양한 풀링 변종을 사용해 Google Open Images v5 데이터셋에서 VGG16 네트워크를 훈련시킨다.
• 레이어별로 학습된 파rameter(예: SMP의 τ, OP의 가중치)를 분석하여 최대 풀링 또는 평균 풀링 행동로의 수렴 여부를 평가한다.
• 공정한 비교를 위해 고정된 훈련 스케줄과 학습률을 사용한다.

실험 결과

연구 질문

• RQ1 최대 풀링과 평균 풀링 사이를 보간하는 일반화된 풀링 방법이 고해상도 자연 이미지에서 분류 정확도를 향상시키는가?
• RQ2 제안된 부드러운 최대 풀링(SMP)이 VGG16 기반 분류 작업에서 표준 최대 풀링 및 평균 풀링을 초월하는가?
• RQ3 적응형 풀링 레이어의 학습된 파rameter(예: SMP의 τ, OP의 가중치)는 훈련 중 어떻게 변화하며, 최대 풀링 또는 평균 풀링을 선호하는가?
• RQ4 일반화된 풀링 방법의 기울기 역전파 특성은 표준 최대 풀링 및 평균 풀링과 어떻게 다를까? 이는 학습에 어떤 영향을 미치는가?

주요 결과

• VGG16 분류 작업에서 일반화된 풀링 방법(비롯해 SMP 및 OP) 중 어느 것도 표준 최대 풀링 또는 평균 풀링보다 유의미한 성능 향상을 보이지 않았다.
• SMP에서 학습된 온도 파rameter τ는 훈련 전반에 걸쳐 감소했으며, 이는 최대 풀링 행동로의 수렴을 시사한다. 특히 깊은 레이어에서 두드러졌다.
• Ordinal-Pooling(OP)에서 최댓값에 할당된 가중치(w₄)는 다른 가중치보다 항상 높았으며, 최솟값 가중치(w₁)는 0.1 이하로 유지되어 최대 풀링 선호도가 뚜렷했다.
• SMP 및 OP의 최종 풀링 블록은 거의 정확히 최대 풀링 행동으로 수렴했으며, 이는 ReLU 활성화를 갖는 네트워크에서 최대 풀링에 대한 강한 인덕티브 바이어스가 있음을 시사한다.
• Squeeze-and-Excitation 네트워크(SEMP)를 사용했을 때의 성능 향상은 미미했으며, 훈련 분산을 고려할 때 통계적으로 유의미하지 않았다.
• 결과적으로, ReLU와 최대 풀링 우세성의 아키텍처 인덕티브 바이어스는 표준 분류 설정에서 더 복잡한 풀링 메커니즘의 이점 제한을 초래한다.