[論文レビュー] Is Second-order Information Helpful for Large-scale Visual Recognition?

Peihua Li, Jiangtao Xie+2 more|arXiv (Cornell University)|Mar 23, 2017

Advanced Neural Network Applications参考文献 25被引用数 31

ひとこと要約

この論文は、大規模な視覚認識において2次統計を活用するため、1次統計に代わる高レベルの畳み込み特徴の共分散プーリングを導入するMatrix Power Normalized Covariance (MPN-COV)を提案する。導出された逆誤差伝搬式によりエンド・ツー・エンド学習を可能にしたことで、AlexNetではトップ1誤差が4%以上低減され、50層のネットワークでResNet-152と同等の性能を達成した。これは、深層学習における高次特徴統計の価値を示している。

ABSTRACT

By stacking layers of convolution and nonlinearity, convolutional networks (ConvNets) effectively learn from low-level to high-level features and discriminative representations. Since the end goal of large-scale recognition is to delineate complex boundaries of thousands of classes, adequate exploration of feature distributions is important for realizing full potentials of ConvNets. However, state-of-the-art works concentrate only on deeper or wider architecture design, while rarely exploring feature statistics higher than first-order. We take a step towards addressing this problem. Our method consists in covariance pooling, instead of the most commonly used first-order pooling, of high-level convolutional features. The main challenges involved are robust covariance estimation given a small sample of large-dimensional features and usage of the manifold structure of covariance matrices. To address these challenges, we present a Matrix Power Normalized Covariance (MPN-COV) method. We develop forward and backward propagation formulas regarding the nonlinear matrix functions such that MPN-COV can be trained end-to-end. In addition, we analyze both qualitatively and quantitatively its advantage over the well-known Log-Euclidean metric. On the ImageNet 2012 validation set, by combining MPN-COV we achieve over 4%, 3% and 2.5% gains for AlexNet, VGG-M and VGG-16, respectively; integration of MPN-COV into 50-layer ResNet outperforms ResNet-101 and is comparable to ResNet-152. The source code will be available on the project page: http://www.peihuali.org/MPN-COV

研究の動機と目的

• 深層特徴における第二階層統計が、1次統計プーリングを超えて大規模な視覚認識を改善するかどうかを調査すること。
• 高次元特徴の少数サンプルにおける頑健な共分散推定の課題に対処すること。
• 対数・オルセドロメトリックに依存せずに、共分散行列多様体の幾何的構造を捉える微分可能でエンド・ツー・エンド学習可能な手法を開発すること。
• 第二階層統計を組み込むことで、多様な深層ネットワークアーキテクチャにおいて顕著な精度向上が達成されることを示すこと。

提案手法

• 1次統計プーリングの代替として微分可能なMPN-COVを提案し、グローバル平均プーリングを高レベル特徴の共分散プーリングに置き換える。
• 少数サンプルと高次元性の下でも共分散推定を安定化させる行列のべき乗正規化技術を導入する。
• 行列微積分を用いてMPN-COVにおける非線形行列関数の順伝播・逆伝播ルールを導出し、深層ネットワークにおけるエンド・ツー・エンド学習を可能にする。
• 対数・オルセドロメトリックの計算的・数値的欠陥を回避するため、共分散行列多様体の幾何的構造を暗黙的に利用する。
• 最終畳み込み層の直後にMPN-COVをグローバルプーリング層として適用し、その後に全結合層を用いて分類を行う。
• 共分散プーリングの前段階で$1\times1$畳み込みを用いてチャネル次元を低減し、計算効率を高めるとともに、より良い特徴表現を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層特徴における第二階層統計が、大規模な視覚認識タスクにおいて顕著な性能向上をもたらすか？
• RQ2 高次元特徴が少数しか入手できない状況でも、頑健な共分散推定が可能か？
• RQ3 対数・オルセドロメトリックを用いないまま、共分散行列多様体の幾何的構造を深層学習で効果的に活用できるか？
• RQ4 MPN-COVは、第一階層プーリングおよびDeepO2P や B-CNN といった既存の第二階層手法を上回る性能を大規模な設定で示せるか？
• RQ5 MPN-COVは、浅いネットワークがResNet-101 や ResNet-152 といった深いモデルと同等またはそれ以上の性能を達成できるか？

主な発見

• ImageNet 2012の検証セットにおいて、AlexNetで1次統計プーリングに比べてトップ1誤差が4.1%低減され、トップ1誤差は37.07%から34.60%に低下した。
• VGG-Mでは、1次統計プーリングのトップ1誤差29.62%がMPN-COVで26.55%に低下し、異なる初期化設定でも37.07%から34.60%に改善された。
• VGG-16では、MPN-COVが10クロップでトップ1誤差24.68%を達成し、元のVGG-16（27.41%）を上回り、GoogleNet や PReLU-net B と同等またはそれを上回った。
• ResNet-50に統合した場合、1クロップではトップ1誤差が24.95%から22.73%に低下し、10クロップでは22.85%から21.20%に改善され、ResNet-101を上回り、ResNet-152と同等の性能を示した。
• MPN-COVネットワークはトレーニング中により速く収束し、エポック60でトップ1誤差18.02%を達成したのに対し、ベースラインのResNet-50では25.98%であった。
• MPN-COVにより、50層のResNetが152層のResNetと同等の性能を達成でき、第二階層統計が深さの不足を補う可能性を示した。