[論文レビュー] Second-order Convolutional Neural Networks

Kaicheng Yu, Mathieu Salzmann|arXiv (Cornell University)|Mar 20, 2017

Advanced Neural Network Applications参考文献 19被引用数 35

ひとこと要約

この論文は、標準的な全結合層を置き換える新しい共分散記述子ユニット（CDU）を導入した2次結合畳み込みニューラルネットワーク（SO-CNNs）を提案する。CDUは畳み込み特徴量から2次統計（共分散行列）を抽出・変換する。この手法は、1次CNNや従来の2次手法を上回る最先端の性能を達成し、1次CNNと比較して最大90%少ないパラメータを用いる。

ABSTRACT

Convolutional Neural Networks (CNNs) have been successfully applied to many computer vision tasks, such as image classification. By performing linear combinations and element-wise nonlinear operations, these networks can be thought of as extracting solely first-order information from an input image. In the past, however, second-order statistics computed from handcrafted features, e.g., covariances, have proven highly effective in diverse recognition tasks. In this paper, we introduce a novel class of CNNs that exploit second-order statistics. To this end, we design a series of new layers that (i) extract a covariance matrix from convolutional activations, (ii) compute a parametric, second-order transformation of a matrix, and (iii) perform a parametric vectorization of a matrix. These operations can be assembled to form a Covariance Descriptor Unit (CDU), which replaces the fully-connected layers of standard CNNs. Our experiments demonstrate the benefits of our new architecture, which outperform the first-order CNNs, while relying on up to 90% fewer parameters.

研究の動機と目的

• 標準的なCNNが画像から1次統計しか抽出できないという制限に対処する。これは、人間の視覚認識において2次統計（例えば共分散）が重要であるという証拠に基づく。
• エンドツーエンド学習に統合可能な2次統計を組み込む深層学習フレームワークを開発する。これにより、従来の領域共分散記述子（RCDs）で使われてきた手作業特徴の制限を克服する。
• ニューラルネットワーク内で共分散行列の計算と変換を可能にする新しい微分可能レイヤーを設計する。これにより、2次演算を介したバックプロパゲーションが可能になる。
• SO-CNNがCIFAR-10 や MINC2500 のような標準ベンチマークで、1次CNNや既存の2次ベースラインを上回ることを実証する。
• 大規模な全結合層を置き換えることで、行列レベルの表現を活用するコンactで学習可能なCDUを導入し、効率的でパラメータ効率の良い視覚認識を実現する。

提案手法

• 畳み込み層の特徴マップから共分散行列を計算する新しいレイヤーを提案。これにより、チャネル間の2次統計的関係を捉える。
• 共分散行列に適用可能な学習可能な線形変換を施すパラメトリック2次変換レイヤーを導入。これにより、ネットワークが意味のある2次表現を学習可能になる。
• 共分散行列をベクトルに変換するパラメトリックベクトル化レイヤーを設計。これにより、標準的な全結合層や分類ヘッドとの互換性が確保される。
• これらの3つのレイヤーを組み合わせて共分散記述子ユニット（CDU）を構築。CDUは標準CNNの全結合層に置き換えられ、エンドツーエンド学習が可能になる。
• 高次元特徴マップに対応するため、頑健な共分散推定と複数のCDUを用いることで、安定性と性能が向上する。
• 記述子空間（D-）での連結または平均化により複数のCDUを統合。ベクトル空間（V-）での統合より、記述子レベルの統合が優れていることが示された。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンド学習による2次統計の取り扱いは、1次CNNと比較して視覚認識タスクの性能向上に寄与するか？
• RQ2 共分散行列のパラメトリック変換といった学習可能な2次演算は、手作業で作成されたまたは固定された2次特徴を上回るか？
• RQ3 CDUによる全結合層の置き換えは、パラメータ数を削減しながらも、精度を維持または向上させることができるか？
• RQ4 複数のCDUの統合戦略（例：和、平均、連結）は、最終的な性能にどのように影響するか？
• RQ5 SO-CNNは、VGG16、ResNet、FitNetなどの異なるバックボーンアーキテクチャに一般化可能か？

主な発見

• CIFAR-10データセットでは、提案されたSO-CNNは1次VGG16（72.14%）を5.74ポイント上回り、77.88%の精度を達成。パラメータ数は15.21Mにまで減少し、1次CNNと比較して93.6%の削減を実現。
• MINC2500データセットでは、SO-VGG16が77.88%の精度を達成。1次VGG16（72.14%）と2次ベースラインのSPD-net（43.90%）を大きく上回った。
• SO-ResNet50は80.45%の精度を達成。1次ResNet50（80.10%）をわずかに上回り、MatBPベースライン（55.35%）を著しく上回った。
• D-連結統合を用いた複数CDU（例：2× CDU）は、頑健な共分散推定や単一CDUよりも優れた性能を示した。2つを超えると効果の逓減が見られた。
• 1次CNNに大きな全結合層を備えたモデルと比較して、最大90%のパラメータ削減が達成され、強力なパラメータ効率性を示した。
• アブレーションスタディにより、性能向上は2次統計に起因しており、アーキテクチャの変更によるものではないことが確認された。1次モデルに1×1畳み込みを追加すると精度が低下した。