[論文レビュー] Pooling Methods in Deep Neural Networks, a Review

Hossein Gholamalinezhad, Hossein Khosravi|arXiv (Cornell University)|Sep 16, 2020

Advanced Neural Network Applications参考文献 51被引用数 183

ひとこと要約

この論文は CNN におけるプーリング手法を概説し、ダウンサンプリングされた特徴マップ、パラメータ削減、過学習の緩和に果たす役割を説明し、広く用いられるさまざまなプーリング技法を論じます。

ABSTRACT

Nowadays, Deep Neural Networks are among the main tools used in various sciences. Convolutional Neural Network is a special type of DNN consisting of several convolution layers, each followed by an activation function and a pooling layer. The pooling layer is an important layer that executes the down-sampling on the feature maps coming from the previous layer and produces new feature maps with a condensed resolution. This layer drastically reduces the spatial dimension of input. It serves two main purposes. The first is to reduce the number of parameters or weights, thus lessening the computational cost. The second is to control the overfitting of the network. An ideal pooling method is expected to extract only useful information and discard irrelevant details. There are a lot of methods for the implementation of pooling operation in Deep Neural Networks. In this paper, we reviewed some of the famous and useful pooling methods.

研究の動機と目的

• CNN におけるプーリング層の役割と重要性を、特徴マップのダウンサンプリングの観点から説明する。
• プーリングがパラメータ数、計算コストを削減し、過学習を防ぐのに役立つことを要約する。
• さまざまなプーリング手法とそれらの特徴とトレードオフを調査・評価する。
• CNN における理想的なプーリング手法の望ましい特性を強調する。

提案手法

• 深層ニューラルネットワークで用いられるプーリング手法の文献レビューを提供する。
• プーリングが空間解像度、パラメータ数、モデルの一般化に及ぼす影響を論じる。
• さまざまなプーリング実装の利点と欠点と、それらの実践的影響を分析する。
• 情報保持と効率性に基づいて理想的なプーリング手法を定義する基準を特定する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークで一般的に用いられるプーリング手法は何で、どのように異なるのか。
• RQ2 プーリング操作は情報保持、計算コスト、モデルの一般化にどのように影響するか。
• RQ3 精度と効率の観点で、異なるプーリング手法にはどのようなトレードオフが存在するか。

主な発見

• プーリング層は特徴マップのダウンサンプリングを行い、空間的次元と計算コストを削減します。
• プーリングはパラメータ数と特徴マップの複雑さを低減することで過学習の抑制に役立ちます。
• 利点とトレードオフが異なるさまざまなプーリング手法が存在し、本レビューではそれらを議論・比較します。
• 有用な情報を抽出し、不要な詳細を捨てるプーリング手法の必要性を強調しています。