[論文レビュー] Ordinal Pooling Networks: For Preserving Information over Shrinking Feature Maps

Ashwani Kumar|arXiv (Cornell University)|Apr 8, 2018

Advanced Neural Network Applications参考文献 19被引用数 7

ひとこと要約

本稿では、順序付きプーリングネットワーク（OPN）を提案する。OPNは、プーリング領域内の要素をその順序的位置に応じてランク付け・重み付けすることで、従来のマックスプーリングよりも多くの特徴情報の保持を実現する学習可能なプーリング機構である。実験の結果、OPNはマックスプーリングに比べて画像分類の精度を向上させ、ダウンサンプリング過程での情報損失が少ないため、より深いネットワークではその向上幅がさらに大きくなると予想される。

ABSTRACT

In the framework of convolutional neural networks that lie at the heart of deep learning, downsampling is often performed with a max-pooling operation that only retains the element with maximum activation, while completely discarding the information contained in other elements in a pooling region. To address this issue, a novel pooling scheme, Ordinal Pooling Network (OPN), is introduced in this work. OPN rearranges all the elements of a pooling region in a sequence and assigns different weights to these elements based upon their orders in the sequence, where the weights are learned via the gradient-based optimisation. The results of our small-scale experiments on image classification task demonstrate that this scheme leads to a consistent improvement in the accuracy over max-pooling operation. This improvement is expected to increase in deeper networks, where several layers of pooling become necessary.

研究の動機と目的

• マックスプーリングに内在する情報損失を解消すること。マックスプーリングはプーリング領域内の最高活性化値以外をすべて破棄する。
• 特徴マップのダウンサンプリング過程で、より多くの空間的および活性化レベルの情報を保持するプーリング機構を開発すること。
• プーリング窓内での活性化の相対的順序に基づいて学習可能な重みを割り当てる、微分可能で勾配最適化可能なプーリング戦略を導入すること。
• 提案手法の有効性を画像分類タスクにおいて評価し、より深いネットワークへのスケーラビリティを示すこと。

提案手法

• プーリング領域内のすべての要素を、その活性化値に基づいてソートされた順序付きシーケンスに並べ替える。
• ソートされたシーケンス内の各位置に学習可能な重みを割り当て、その重みはシーケンス内での順序ランクに対応する。
• これらの学習された順序重みを用いて、ソートされた活性化の重み付き和をプーリング操作で計算する。
• 重みはネットワーク学習中にバックプロパゲーションを介してエンドツーエンドで最適化される。
• 標準的なCNNアーキテクチャに適用され、マックスプーリング層をOPN層に置き換える。
• 従来のCNNフレームワークと互換性があり、標準的な最適化手法で学習可能であるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 最大活性化値以外の情報を保持するプーリング機構が、ディープCNNにおける分類精度の向上に寄与するか？
• RQ2 特徴マップ要素に順序重みを学習させることで、固定されたマックスプーリングに比べてより優れた表現学習が達成できるか？
• RQ3 OPNの性能は、標準的な画像分類ベンチマークでマックスプーリングと比較してどのように異なるか？
• RQ4 複数のプーリング層を経る中で、情報損失の蓄積的低減が可能であるため、ネットワークの深さが増すとOPNの利点が拡大するか？

主な発見

• 小規模な画像分類実験において、OPNはマックスプーリングに比べて一貫した精度向上を達成した。
• 活性化の相対的順序と大きさを保持することで、ダウンサンプリング過程での情報損失を低減した。
• 情報損失の蓄積的低減の効果により、より深いネットワークでは精度向上がさらに大きくなると予想される。
• 学習された順序重みは、ランクに基づいて情報量の多い特徴を適応的に強調し、より頑健な特徴表現を可能にした。