[論文レビュー] Deep FisherNet for Object Classification

Peng Tang, Xinggang Wang+4 more|arXiv (Cornell University)|Jul 31, 2016

Advanced Image and Video Retrieval Techniques参考文献 18被引用数 39

ひとこと要約

この論文は、畳み込みニューラルネットワーク（CNN）特徴量とフィッシャー・ベクター（FV）符号化を統合することで、オブジェクト分類に適した、エンド・ツー・エンドで学習可能な深層ニューラルネットワーク「FisherNet」を提案する。FVレイヤーを微分可能にし、バックプロパゲーションによりパッチ特徴量とFVパラメータを同時に最適化することで、FisherNetはPASCAL VOCで最先端の性能を達成し、従来手法よりも10倍以上高速な推論速度を実現した。

ABSTRACT

Despite the great success of convolutional neural networks (CNN) for the image classification task on datasets like Cifar and ImageNet, CNN's representation power is still somewhat limited in dealing with object images that have large variation in size and clutter, where Fisher Vector (FV) has shown to be an effective encoding strategy. FV encodes an image by aggregating local descriptors with a universal generative Gaussian Mixture Model (GMM). FV however has limited learning capability and its parameters are mostly fixed after constructing the codebook. To combine together the best of the two worlds, we propose in this paper a neural network structure with FV layer being part of an end-to-end trainable system that is differentiable; we name our network FisherNet that is learnable using backpropagation. Our proposed FisherNet combines convolutional neural network training and Fisher Vector encoding in a single end-to-end structure. We observe a clear advantage of FisherNet over plain CNN and standard FV in terms of both classification accuracy and computational efficiency on the challenging PASCAL VOC object classification task.

研究の動機と目的

• スケールや外観の変動が著しい複雑でごみだらけのオブジェクト画像を分類する際、標準的なCNNと固定パラメータのフィッシャー・ベクター（FV）符号化の限界を克服すること。
• 従来のFVの微分不能性に起因する、エンド・ツー・エンド学習におけるパッチ特徴量とFVパラメータの同時最適化の困難を解消すること。
• バックプロパゲーションがCNN特徴量とFVコードブックパラメータの両方を通過できるようにする、学習可能なFVレイヤー（Fisherレイヤー）を設計すること。
• パッチ表現とFV符号化を同時に学習することで、PASCAL VOCベンチマークにおける分類精度と計算効率を向上させること。
• CNN特徴量とFVをエンド・ツー・エンドで学習することで、非学習可能なFVや標準CNNに比べて顕著に優れた性能を示すことを実証すること。

提案手法

• 微分可能なFisherレイヤーを備えた新しいニューラルネットワークアーキテクチャ、FisherNetを提案。これにより、CNN特徴抽出器とFVコードブックの両方をバックプロパゲーションで最適化可能となる。
• 学習可能なガウス・ミックスチャネル・モデル（GMM）を用いてFVをパrameter化し、トレーニング中に勾配降下法でコードブックパラメータを最適化可能にする。
• 固定ステップサイズで密度の高いマルチスケールパッチ抽出（7スケール：32×{2,3,...,8}）を実装。パッチ間でCNN特徴量の計算を共有することで、効率を向上。
• Fisherレイヤーを導入。GMMの対数尤度の勾配を用いて局所的CNN特徴量を集約することで、FVの計算を微分可能にし、全体の計算プロセスを微分可能にする。
• 最終的なFV表現に対してパワー正規化とL2正規化を適用し、ロバストネスと一般化性能を向上。
• 確率的勾配降下法を用いて、画像全体の表現を線形SVMで分類するための最終層まで、ネットワーク全体をエンド・ツー・エンドで学習。

実験結果

リサーチクエスチョン

• RQ1 フィッシャー・ベクター符号化を微分可能にし、オブジェクト分類のエンド・ツー・エンド深層学習フレームワークに統合できるか？
• RQ2 CNNベースのパッチ特徴量とFVパラメータを同時に最適化することで、固定FVや標準CNNに比べて分類精度が向上するか？
• RQ3 提案されたエンド・ツー・エンド学習戦略は、従来のCNN-FV手法に比べ、より高い精度と高速な推論を達成できるか？
• RQ4 PASCAL VOCベンチマークにおいて、FisherNetの性能は標準CNNや非学習可能なFVベースの手法と比べてどの程度優れているか？
• RQ5 パッチ特徴量とFVパラメータの両方をエンド・ツー・エンドで学習することで、さまざまなオブジェクトカテゴリにおいて性能がどの程度向上するか？

主な発見

• FisherNetはPASCAL VOC 2007および2012で最先端の性能を達成し、標準CNNおよびLiuら[14]やCimpoiら[2]による従来のCNN-FV手法を上回った。
• AlexNetを用いる場合、1枚あたり0.3秒、VGG16を用いる場合0.8秒の推論時間にまで短縮され、従来のSOTA手法HCPよりも10倍以上高速であった。
• パッチ特徴量とFVパラメータのエンド・ツー・エンド学習により、従来のFV符号化に比べPASCAL VOC 2007および2012で+2.9%の精度向上を達成した。
• CNN-FVベースライン（固定FV）は、標準CNNの微調整を上回る性能を示したが、FVパラメータとパッチ特徴量を同時に学習することでさらなる向上が得られた。
• Fisherレイヤーにより、FV計算経路を効果的にバックプロパゲーション可能となり、ネットワーク全体を統合的かつ適応的に学習可能となった。
• 本手法は、深層CNN特徴量と学習可能で微分可能なFV符号化を組み合わせることで、複雑なオブジェクト分類タスクにおいて優れた性能と効率性を実現することを示した。