[논문 리뷰] Pooling Methods in Deep Neural Networks, a Review

Hossein Gholamalinezhad, Hossein Khosravi|arXiv (Cornell University)|2020. 09. 16.

Advanced Neural Network Applications참고 문헌 51인용 수 183

한 줄 요약

이 논문은 CNN에서 풀링 방법을 조사하고, 다운샘플링에서의 역할, 파라미터 감소 및 과적합 완화, 그리고 널리 사용되는 다양한 풀링 기법에 대해 논의한다.

ABSTRACT

Nowadays, Deep Neural Networks are among the main tools used in various sciences. Convolutional Neural Network is a special type of DNN consisting of several convolution layers, each followed by an activation function and a pooling layer. The pooling layer is an important layer that executes the down-sampling on the feature maps coming from the previous layer and produces new feature maps with a condensed resolution. This layer drastically reduces the spatial dimension of input. It serves two main purposes. The first is to reduce the number of parameters or weights, thus lessening the computational cost. The second is to control the overfitting of the network. An ideal pooling method is expected to extract only useful information and discard irrelevant details. There are a lot of methods for the implementation of pooling operation in Deep Neural Networks. In this paper, we reviewed some of the famous and useful pooling methods.

연구 동기 및 목표

• CNN에서 다운샘플링 피처 맵에서 풀링 계층의 역할과 중요성 설명.
• 풀링이 파라미터 수, 계산 비용을 어떻게 줄이고 과적합 방지에 어떻게 도움이 되는지 요약.
• 다양한 풀링 방법의 특성 및 트레이드오프를 조사하고 평가.
• CNN에서 이상적인 풀링 방법의 바람직한 특성을 강조.

제안 방법

• 딥 뉴럴 네트워크에서 사용되는 풀링 방법의 문헌 리뷰 제공.
• 풀링이 공간 해상도, 파라미터 수, 모델 일반화에 미치는 영향 논의.
• 서로 다른 풀링 구현의 장단점 및 실용적 함의 분석.
• 정보 보존성과 효율성을 바탕으로 이상적 풀링 방법을 정의하는 기준 파악.

실험 결과

연구 질문

• RQ1 깊은 신경망에서 일반적으로 사용되는 풀링 방법은 무엇이며, 어떻게 다른가?
• RQ2 풀링 연산이 정보 보존, 계산 비용, 모델 일반화에 어떤 영향을 주는가?
• RQ3 다양한 풀링 기법 간에 정확도와 효율성 측면에서 어떤 트레이드오프가 존재하는가?

주요 결과

• 풀링 계층은 피처 맵의 다운샘플링을 수행하여 공간 차원과 계산 비용을 감소시킵니다.
• 풀링은 파라미터 수와 피처 맵 복잡성을 줄여 과적합을 제어하는 데 도움이 됩니다.
• 다양한 장점과 트레이드오프를 가진 여러 풀링 방법이 존재하며, 이 리뷰에서 논의하고 비교합니다.
• 이 논문은 유용한 정보를 추출하고 무관한 세부 정보를 버리는 풀링 방법의 필요성을 강조합니다.