[論文レビュー] Improved Bilinear Pooling with CNNs

Tsung‐Yu Lin, Subhransu Maji|arXiv (Cornell University)|Jul 21, 2017

Advanced Neural Network Applications参考文献 29被引用数 31

ひとこと要約

本稿では、2次結合CNN特徴に行列平方根正規化を適用し、要素ごとの平方根およびℓ₂正規化を組み合わせることで特徴表現を向上させる、改良された双線形CNN（B-CNN）アーキテクチャを提案する。この手法は、微分可能でGPUで効率的に計算可能なニュートン反復法と、リャプノフ方程式を用いた数値的に安定した勾配計算により、顕著な精度向上（細分類データセットで2–3%向上）を達成し、新たなSOTAを樹立した。

ABSTRACT

Bilinear pooling of Convolutional Neural Network (CNN) features [22, 23], and their compact variants [10], have been shown to be effective at fine-grained recognition, scene categorization, texture recognition, and visual question-answering tasks among others. The resulting representation captures second-order statistics of convolutional features in a translationally invariant manner. In this paper we investigate various ways of normalizing these statistics to improve their representation power. In particular we find that the matrix square-root normalization offers significant improvements and outperforms alternative schemes such as the matrix logarithm normalization when combined with elementwise square-root and l2 normalization. This improves the accuracy by 2-3% on a range of fine-grained recognition datasets leading to a new state of the art. We also investigate how the accuracy of matrix function computations effect network training and evaluation. In particular we compare against a technique for estimating matrix square-root gradients via solving a Lyapunov equation that is more numerically accurate than computing gradients via a Singular Value Decomposition (SVD). We find that while SVD gradients are numerically inaccurate the overall effect on the final accuracy is negligible once boundary cases are handled carefully. We present an alternative scheme for computing gradients that is faster and yet it offers improvements over the baseline model. Finally we show that the matrix square-root computed approximately using a few Newton iterations is just as accurate for the classification task but allows an order-of-magnitude faster GPU implementation compared to SVD decomposition.

研究の動機と目的

• 標準的な要素ごとの操作を超えた行列関数正規化の検討を通じて、CNNにおける二重プーリングの表現力の向上を図ること。
• 特に行列平方根と行列対数の正規化手法が、細分類認識タスクの分類精度に与える影響を調査すること。
• 特に行列平方根のバックプロパゲーションにおける勾配計算を、数値的に安定かつ効率的な方法で実現すること。
• 勾配計算における数値精度と最終的なモデル精度のトレードオフを評価すること、特にSVDベースとリャプノフベースの勾配手法を比較すること。
• ニュートン反復による高速化と計算コストの最小化を通じて、深層ネットワークへの行列正規化の実用的導入を可能にすること。

提案手法

• 双線形プーリングによって得られる共分散行列に、行列平方根正規化を適用し、対称正定値（SPD）行列をUΣ¹ᐟ²Uᵀ分解により変換する。
• 行列平方根正規化に加え、要素ごとの平方根およびℓ₂正規化を組み合わせることで、特徴表現の安定性と強化を図る。
• 行列平方根の勾配をリャプノフ方程式ソルバーを用いて計算し、SVDベースの勾配近似よりも数値的に正確である。
• 前向き伝搬においてニュートン法の数回の反復を用いて行列平方根を近似することで、最小限の精度損失で高速なGPU推論を実現する。
• 完全なSVD分解を回避する勾配計算スキームを採用し、数値的不安定性を低減し、学習安定性を向上させる。
• リャプノフベースの勾配（より正確）とSVDベースの勾配（速いがやや不正確）を比較することで、勾配精度の影響を評価し、実用的には顕著な精度損失がないことを示す。

実験結果

リサーチクエスチョン

• RQ1 要素ごとの正規化と組み合わせた場合、行列平方根正規化は行列対数正規化を上回る性能を示すか？
• RQ2 分類精度を損なわずに、反復的手法を用いてGPU上で行列平方根を効率的に計算できるか？
• RQ3 勾配計算における数値精度が、二重プーリングネットワークの最終的モデル精度に与える影響はいかほどか？
• RQ4 行列正規化と要素ごとの正規化の組み合わせは、細分類認識タスクにおいて相乗的で有益な効果をもたらすか？
• RQ5 微調整時に行列正規化を省略する簡素化された訓練スキームでも、ベースラインのB-CNNモデルを上回る性能が得られるか？

主な発見

• 行列平方根正規化に加え、要素ごとの平方根およびℓ₂正規化を組み合わせることで、3つの細分類認識データセットで2–3%の分類精度向上を達成し、新たなSOTAを樹立した。
• 数回のニュートン反復で近似された行列平方根は、SVDベースの計算と同等の精度を達成するが、GPU推論速度が10倍以上高速化された。
• リャプノフベースの勾配計算はSVDベースの勾配よりもより正確なモデルを生成するが、境界ケースを適切に処理すれば最終的な精度差は顕著でない。
• 単一のニュートン反復でも、計算コストをほとんど増加させずに、ベースラインB-CNNよりも顕著な精度向上が得られる。
• 行列対数正規化のSVDベース勾配は、倍精度演算を用いても数値的に不安定であり、学習性能が著しく劣るが、行列平方根正規化は単精度でも安定に動作する。
• BoostCNN や Kernel Pooling といった最先端手法を上回るか、同等の性能を達成し、計算コストの増加はわずかである。