[論文レビュー] Multi Layer Neural Networks as Replacement for Pooling Operations

Wolfgang Fuhl, Enkelejda Kasneci|arXiv (Cornell University)|Jun 12, 2020

Computational Physics and Python Applications参考文献 64被引用数 6

ひとこと要約

この論文では、畳み込みニューラルネットワークにおける可学習プーリング演算子として、単一パーセプトロンまたは浅い多層ニューラルネットワークを用いる手法を提案している。特徴マップをパーセプトロンの入力に再構成することで、パrameterの増加が最小限に抑えられ、エンドツーエンド学習が可能となり、セマンティックセグメンテーションタスクにおけるアップサンプリングに対しても適用可能となる。この手法により、パラメータの増加が少なく、競争力のある精度が達成される。

ABSTRACT

Pooling operations, which can be calculated at low cost and serve as a linear or nonlinear transfer function for data reduction, are found in almost every modern neural network. Countless modern approaches have already tackled replacing the common maximum value selection and mean value operations, not to mention providing a function that allows different functions to be selected through changing parameters. Additional neural networks are used to estimate the parameters of these pooling functions.Consequently, pooling layers may require supplementary parameters to increase the complexity of the whole model. In this work, we show that one perceptron can already be used effectively as a pooling operation without increasing the complexity of the model. This kind of pooling allows for the integration of multi-layer neural networks directly into a model as a pooling operation by restructuring the data and, as a result, learnin complex pooling operations. We compare our approach to tensor convolution with strides as a pooling operation and show that our approach is both effective and reduces complexity. The restructuring of the data in combination with multiple perceptrons allows for our approach to be used for upscaling, which can then be utilized for transposed convolutions in semantic segmentation.

研究の動機と目的

• 固定されたプーリング操作（例：マックス、平均）には、入力データやタスク固有のパターンに適応できないという限界があるため、それを是正すること。
• 従来のプーリングを可学習かつパrameter化された操作に置き換えることで、モデルの複雑さを低減しつつ性能を向上させること。
• 単純なニューラルネットワークが、計算コストの増加を伴わずに、プーリング層の効果的かつ低複雑性な代替手段として機能できるかどうかを検証すること。
• 補助ブランチを用いずに、ネットワークアーキテクチャに直接統合することで、プーリング操作をエンドツーエンドで学習可能にする。
• トランスポーズ畳み込みおよびセマンティックセグメンテーションへの応用を想定し、同じニューラルネットワークベースのプーリング機構をアップサンプリング操作に拡張すること。

提案手法

• 特徴マップの活性化を1次元ベクトルに再構成し、標準的なプーリング層の代わりに単一パーセプトロンまたは浅い多層ネットワークに供給する。
• 可学習重みとバイアスを持つパーセプトロンを、微分可能でパrameter化されたプーリング関数として用い、エンドツーエンドで学習可能にする。
• 多層パーセプトロン（例：4-1 または 4-16-1）を構成し、特徴マップから複雑な非線形プーリング関数を学習する。
• データの再構成により、同じニューラルネットワークアーキテクチャをダウンサンプリング（プーリング）およびアップサンプリング（トランスポーズ畳み込み）の両方の操作に適用する。
• バックプロパゲーションを用いて、プーリング操作のパラメータを他のネットワーク重みと同時に最適化する形で、モデル全体をエンドツーエンドで学習する。
• 比較のためのベースラインとしてストライド付き畳み込みを用い、提案手法がより少ないパラメータで、同程度またはそれ以上の性能を達成できることを示す。

実験結果

リサーチクエスチョン

• RQ1 単一パーセプトロンは、モデルの複雑さを増加させることなく、マックスや平均プーリングといった従来のプーリング操作を効果的に置き換えられるか？
• RQ2 可学習パーセプトロンベースのプーリング層は、固定プーリングおよびストライド付き畳み込みプーリングと比較して、画像分類タスクでどの程度の性能を示すか？
• RQ3 多層パーセプトロンを用いることで、複雑な非線形特徴圧縮パターンを学習するプーリング操作として機能できるか？
• RQ4 同じニューラルネットワークベースのプーリング機構を、セマンティックセグメンテーションアーキテクチャにおけるアップサンプリング操作に効果的に適用できるか？
• RQ5 主ネットワークパスに可学習プーリング層を統合することで、計算効率を維持したままモデルの精度が向上するか？

主な発見

• CIFAR10データセットにおいて、図2のモデルc)を用いた4回の実験のうち3回で、パーセプトロンベースのプーリングがマックスプーリングおよび平均プーリングを上回った。
• NN-4-1（隠れ層に4つのパーセプトロン、出力が1つ）は、CIFAR10でテストされたすべてのプーリング手法の中で最高の全体的性能を示し、ストライド付き畳み込みプーリングと同等の結果を得た。
• 挑戦的な VOC2012 セマンティックセグメンテーションデータセットにおいて、従来のプーリングおよびアップサンプリング層をパーセプトロンベースの操作に置き換えることで、セグメンテーション精度が向上した。
• ストライド付き畳み込みと同等の性能を達成しながら、顕著に少ないパラメータ数で実現し、O(n)の計算複雑度を維持した。
• 訓練中に安定しており、不安定性が生じた場合には学習率を低下させることで効果的に最適化可能である。
• プーリングに使用した同じニューラルネットワークアーキテクチャを、データの再構成によりアップサンプリングに再利用可能であり、効果的なトランスポーズ畳み込み学習が可能となった。