[論文レビュー] Comparison of Methods Generalizing Max- and Average-Pooling

Florentin Bieder, Robin Sandkühler+1 more|arXiv (Cornell University)|Mar 2, 2021

Advanced Neural Network Applications参考文献 18被引用数 5

ひとこと要約

この論文は、最大値プーリングおよび平均プーリングを一般化する高度なプーリング手法を比較しており、特に微分可能な最大関数の近似に基づく提案されたスムーズ最大プーリング（SMP）手法を含む。VGG16を用いたGoogle Open Images v5データセットにおける実験では、標準の最大プーリングや平均プーリングに対する顕著な性能向上が得られず、大多数の一般化手法がReLU活性化関数の影響で最大プーリングの挙動をとる傾向にあることがわかった。

ABSTRACT

Max- and average-pooling are the most popular pooling methods for downsampling in convolutional neural networks. In this paper, we compare different pooling methods that generalize both max- and average-pooling. Furthermore, we propose another method based on a smooth approximation of the maximum function and put it into context with related methods. For the comparison, we use a VGG16 image classification network and train it on a large dataset of natural high-resolution images (Google Open Images v5). The results show that none of the more sophisticated methods perform significantly better in this classification task than standard max- or average-pooling.

研究の動機と目的

• 一般化されたプーリング手法（最大プーリングおよび平均プーリングを一般化するもの）が画像分類の性能を向上させるかどうかを評価すること。
• 提案されたスムーズ最大プーリング（SMP）手法が、既存の一般化手法を上回る利点を有するかどうかを調査すること。
• 訓練済みのネットワークにおける一般化プーリング層の学習された挙動を分析すること、特に最大プーリングまたは平均プーリングへの傾向を特定すること。
• 標準的な分類設定における固定された最大プーリングおよび平均プーリングと比較して、適応的プーリングメカニズムの影響を評価すること。

提案手法

• 最大関数の微分可能な近似を用いたスムーズ最大プーリング（SMP）手法を提案。これは、ログ・サム・エクスプ（log-sum-exp）の定式化に基づく。
• SMPは温度ハイパーパrameter τでパラメータ化されており、τ → 0 では真の最大値に近づき、τ → ∞ では平均に近づく。
• SMPは、ソートされた特徴値に学習可能な重みを割り当てるOrdinal-Pooling（OP）などの既存の一般化プーリング手法と比較する。
• ストライド付き畳み込み、平均プーリング、最大プーリング、SMP、OPを含むさまざまなプーリング変種を用いて、Google Open Images v5データセット上でVGG16ネットワークを訓練する。
• 層ごとに学習されたパラメータ（SMPのτ、OPの重みなど）を分析し、最大プーリングまたは平均プーリングへの収束を評価する。
• 公平な比較を保証するため、訓練スケジュールと学習率を固定する。

実験結果

リサーチクエスチョン

• RQ1 最大プーリングと平均プーリングの間を補間する一般化プーリング手法は、高解像度の自然画像における分類精度を向上させるか？
• RQ2 提案されたスムーズ最大プーリング（SMP）は、VGG16ベースの分類タスクにおいて、標準の最大プーリングおよび平均プーリングを上回るか？
• RQ3 適応的プーリング層（例：SMPのτ、OPの重み）における学習されたパラメータはトレーニング中にどのように変化するか？また、最大プーリングまたは平均プーリングのどちらに傾向するか？
• RQ4 一般化プーリング手法の勾配ダイナミクスは、標準の最大プーリングおよび平均プーリングとどのように異なるか？また、これは学習にどのように影響するか？

主な発見

• VGG16分類タスクにおいて、SMP や OP を含むいかなる一般化プーリング手法に対しても、標準の最大プーリングや平均プーリングを上回る顕著な性能向上は観察されなかった。
• SMPにおける学習済みの温度パラメータτはトレーニング中に減少し、特に深い層では最大プーリングの挙動に収束していることが示された。
• Ordinal-Pooling（OP）では、最大値に割り当てられた重み（w₄）が他の重みよりも常に高く、w₁（最小値の重み）は0.1未満であった。これは、最大プーリングへの強い傾向があることを示している。
• SMPおよびOPの最終的なプーリングブロックは、ほぼ正確に最大プーリングの挙動に収束しており、ReLU活性化を伴うネットワークにおいて最大プーリングへの強いインダクティブバイアスが存在することが示された。
• Squeeze-and-Excitationネットワーク（SEMP）を用いた場合の性能向上は、トレーニングのばらつきを考慮しても微々たるものであり、統計的に有意ではなかった。
• 結果から、ReLUと最大プーリングの優位性が支配的なアーキテクチャ的インダクティブバイアスが、標準的な分類設定におけるより複雑なプーリング機構の利点を制限していることが示唆された。