[論文レビュー] Statistically Motivated Second Order Pooling

Kaicheng Yu, Mathieu Salzmann|arXiv (Cornell University)|Jan 23, 2018

Advanced Image and Video Retrieval Techniques参考文献 38被引用数 7

ひとこと要約

本論文は、ガウス分布に従う特徴表現をWishart分布に従う共分散行列を用いてモデル化し、学習可能な変換を組み合わせることで、深層ネットワークにおける2次ポーリングの統計的根拠に基づいたパrametric圧縮手法を提案する。90%のパrameter削減を達成しながら最先端の精度を実現し、複数のベンチマークで圧縮・非圧縮の両方の2次モデルを上回る性能を示す。

ABSTRACT

Second-order pooling, a.k.a.~bilinear pooling, has proven effective for deep learning based visual recognition. However, the resulting second-order networks yield a final representation that is orders of magnitude larger than that of standard, first-order ones, making them memory-intensive and cumbersome to deploy. Here, we introduce a general, parametric compression strategy that can produce more compact representations than existing compression techniques, yet outperform both compressed and uncompressed second-order models. Our approach is motivated by a statistical analysis of the network's activations, relying on operations that lead to a Gaussian-distributed final representation, as inherently used by first-order deep networks. As evidenced by our experiments, this lets us outperform the state-of-the-art first-order and second-order models on several benchmark recognition datasets.

研究の動機と目的

• 高次元特徴表現に起因するメモリ消費と過学習の問題を、2次ポーリングにおける深層ネットワークの課題として解決すること。
• 従来の手法と比較して表現力が維持または向上する、一般的なパrametric圧縮戦略を構築すること。
• 成功した1次ネットワークに内在するガウス分布仮定と一致するように、最終特徴分布を整えることにより一般化性能を向上させること。
• モデルサイズを顕著に削減することで、2次ネットワークの効果的な展開を可能にすること。

提案手法

• 学習可能なパrameterを用いて共分散行列を圧縮するパrametricベクトル化（PV）レイヤーを提案し、次元削減を実現しながら2次情報の保持を図る。
• 中心極限定理に裏付けられた、χ²分布に従う特徴をガウス分布に近づけるために、PV出力に平方根正規化を適用する。
• 正規化の後に学習可能なスケール（γ）とシフト（β）を導入し、最終表現をガウス分布にさらに近づける。
• 統計的分析を用いて、最終表現がガウス分布に従うことを正当化し、1次ネットワークと類似した分布形状を実現することで一般化性能を向上させる。
• 標準的なバックプロパゲーションを用いたエンドツーエンド学習により、標準的なCNN（VGG-D、ResNet-50）に本手法を適用する。
• 共分散行列のWishart分布モデリングを用いて、提案変換の統計的基盤を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 2次ポーリングの統計的根拠に基づいた圧縮戦略は、モデルサイズを削減しながら性能を向上させることができるか？
• RQ2 最終特徴分布をガウス分布に合わせることで、2次深層ネットワークの精度が向上するか？
• RQ3 パrametric圧縮手法は、非パrametricまたはタスク固有の圧縮ベースラインを上回る性能を発揮できるか？
• RQ4 特に極端な削減（例：パrameterの10%）において、本手法の耐性はどの程度高いか？
• RQ5 学習可能な正規化レイヤー（γ, β）を用いることで、固定変換に比べて性能が顕著に向上するか？

主な発見

• 提案されたSMSO手法は、DTD、MINC-2500、MIT-Indoorデータセットにおいて、最先端の1次モデル（例：VGG-D、ResNet-50）およびすべての2次ベースラインを上回る性能を示した。
• 64次元（パラメータの10%）での実装でも、MINC-2500で78.00%の精度を達成し、90%のパラメータ削減を実現した最良の圧縮ベースライン（CBP-TS）と同等の性能を発揮した。
• ResNet-50では、オリジナルネットワークおよびすべての2次ベースラインを一貫して上回り、深層アーキテクチャの性能向上が可能であることを示した。
• アブレーションスタディの結果、学習可能なγ, βによるガウス分布に近づけた特徴が最も高い精度（78.00%）を達成し、非ガウス分布よりも顕著に優れた性能を示した。
• 本手法はさまざまなPV次元に対して頑健であり、p=64でも高い精度を維持しており、全テストデータセットで安定した性能を示した。
• 平方根、立方根、対数変換といった変換はいずれも変換なしに比べて精度を向上させたが、学習可能なスケールとシフトの組み合わせが最も優れた結果をもたらした。