[論文レビュー] Fisher Kernel for Deep Neural Activations

Donggeun Yoo, Sunggyun Park+2 more|arXiv (Cornell University)|Dec 4, 2014

Advanced Neural Network Applications参考文献 26被引用数 32

ひとこと要約

本論文は、スケール別正規化を施した変更版フィッシャー核を用いて、事前学習済み畳み込みニューラルネットワーク（CNN）からの深層活性化を向上させるマルチスケールピラミッドプーリング（MPP）フレームワークを提案する。完全結合層を同等の畳み込み層に置き換えて、密度的でマルチスケールの活性化を抽出し、正規化されたフィッシャー核を用いてそれらを統合することで、MIT Indoor 67で+17.76%の精度向上、PASCAL VOC 2007で+7.18 mAPを達成し、ベースラインCNN特徴量およびVLADベースの表現を著しく上回る。

ABSTRACT

Compared to image representation based on low-level local descriptors, deep neural activations of Convolutional Neural Networks (CNNs) are richer in mid-level representation, but poorer in geometric invariance properties. In this paper, we present a straightforward framework for better image representation by combining the two approaches. To take advantages of both representations, we propose an efficient method to extract a fair amount of multi-scale dense local activations from a pre-trained CNN. We then aggregate the activations by Fisher kernel framework, which has been modified with a simple scale-wise normalization essential to make it suitable for CNN activations. Replacing the direct use of a single activation vector with our representation demonstrates significant performance improvements: +17.76 (Acc.) on MIT Indoor 67 and +7.18 (mAP) on PASCAL VOC 2007. The results suggest that our proposal can be used as a primary image representation for better performances in visual recognition tasks.

研究の動機と目的

• 視覚認識のための深層CNN活性化の幾何的不変性と識別力の向上。
• 低レベルの局所記述子（不変性）と中レベルのCNN特徴量（豊富な表現）の長所を統合すること。
• 微調整を伴わずに、事前学習済みCNNからマルチスケールの密度的活性化を効率的に抽出する手法の開発。
• 境界ボックスのアノテーションを一切使用せず、クラスレベルのアノテーションのみで弱教師付きのオブジェクト信頼度マップを生成すること。
• スケール別正規化を施したフィッシャー核が、CNN特徴量に対してVLADや平均プーリングを上回ることを実証すること。

提案手法

• 事前学習済みCNNの最初の2つの完全結合層を、密度的でマルチスケールの特徴マップを生成できる同等の畳み込み層に置き換える。
• スケール別正規化を実行した後、局所的活性化パッチに対してフィッシャー核符号化を施すことで、マルチスケールピラミッドプーリング（MPP）を実装する。
• 異なる受容野サイズにわたるフィッシャー核計算の安定化のため、スケール別正規化を適用する。
• 線形SVMを用いて、局所的フィッシャー符号化特徴をグローバル画像表現に統合し、分類に用いる。
• 各局所的活性化パッチごとのSVM重みをたどることで、弱教師付き局在化が可能なオブジェクト信頼度マップを生成する。
• 境界ボックスのアノテーションを避けて、画像レベルのラベルのみを用いて最終分類器を学習する。

実験結果

リサーチクエスチョン

• RQ1 スケール別正規化を施したフィッシャー核符号化は、CNN活性化の識別力を向上させることができるか？
• RQ2 密度的CNN特徴量のマルチスケールプーリングは、平均プーリングやVLAD符号化に比べ、幾何的不変性と精度の両面で優れているか？
• RQ3 クラスレベルのラベルのみを用いて、CNN特徴量から信頼性の高いオブジェクト信頼度マップを生成できるか？
• RQ4 本手法は、シーン認識およびオブジェクト認識ベンチマークにおいて、最先端手法と比較してどのように評価されるか？
• RQ5 スケール別正規化は、CNN活性化に対するフィッシャー核性能にどのような影響を与えるか？

主な発見

• 提案されたMPP+フィッシャー核手法は、MIT Indoor 67で91.28%のトップ1精度を達成し、ベースラインのAlex-FC7に対して+17.76%の向上を示した。
• PASCAL VOC 2007では、CSFベースラインを用いた場合89.35%のmAPを達成し、MPPを用いた場合91.28%の精度を記録し、以前の最先端手法を上回った。
• PASCAL VOC 2007では、ベースライン比でmAPが+7.18向上し、優れた一般化性能を示した。
• クラスレベルラベルのみで学習した表現から生成されたオブジェクト信頼度マップは、高い局在化精度を示した。
• スケール別正規化は極めて重要である：同じプーリング手法であっても、正規化を施さない場合、フィッシャー核性能は著しく低下する。
• 本手法は平均プーリングおよびVLADベースの統合を上回り、マルチスケールCNN特徴量に対して正規化されたフィッシャー核の優位性を示した。