[論文レビュー] End-to-end Learning of a Fisher Vector Encoding for Part Features in Fine-grained Recognition

Dimitri Korsch, Paul Bodesheim+1 more|arXiv (Cornell University)|Jul 4, 2020

Wildlife Ecology and Conservation参考文献 2被引用数 6

ひとこと要約

本稿では、微細な鳥の認識のため、オンラインEMを用いて推定されたGMMをCNNに統合するエンド・ツー・エンド微分可能なフィッシャー・ベクター符号化（FVE）層を提案する。GMMパラメータとネットワーク重みを同時に学習することで、部分の順序や欠損に対し不変な、頑健な固定長表現を生成し、CUB-200-2011（91.1%）、NA-Birds（90.3%）、Birdsnap（84.9%）で最先端の精度を達成した。

ABSTRACT

Part-based approaches for fine-grained recognition do not show the expected performance gain over global methods, although explicitly focusing on small details that are relevant for distinguishing highly similar classes. We assume that part-based methods suffer from a missing representation of local features, which is invariant to the order of parts and can handle a varying number of visible parts appropriately. The order of parts is artificial and often only given by ground-truth annotations, whereas viewpoint variations and occlusions result in not observable parts. Therefore, we propose integrating a Fisher vector encoding of part features into convolutional neural networks. The parameters for this encoding are estimated by an online EM algorithm jointly with those of the neural network and are more precise than the estimates of previous works. Our approach improves state-of-the-art accuracies for three bird species classification datasets.

研究の動機と目的

• 部分ベースの手法が、特徴的な局所的詳細に注目しているにもかかわらず、しばしば性能が低いという限界を解決すること。
• 遮蔽、視点の変化、または非教師付き検出による部分特徴の数が変動する場合に、頑健で不変な表現が欠如しているという問題を克服すること。
• オンラインEMアルゴリズムを用いて、CNN特徴抽出器とフィッシャー・ベクター符号化パラメータをエンド・ツー・エンドで学習可能にすること。
• 勾配ベースの手法と比較して、FVEのための混合ガウスモデル（GMM）パラメータ推定の精度を向上させること。
• 正例部分アノテーションに依存せず、標準的な微細な鳥分類ベンチマークで最先端の性能を達成すること。

提案手法

• 任意の数の部分特徴をGMMを用いて固定長ベクトルに変換する微分可能FVEレイヤーを導入する。
• ミニバッチでバックプロパゲーション中に更新されるオンラインEMアルゴリズムを用いて、GMMパラメータ（平均、共分散、混合重み）を推定する。
• エンド・ツー・エンドのバックプロパゲーションにより、CNNバックボーンとFVEパラメータを同時に最適化し、ネットワークが符号化に適した特徴を学習できるようにする。
• GMMからのソフトアサインメント重みを用いて、重み付きで正規化されたユークリッド距離を、特徴と混合成分の適合度の指標として計算する。
• 部分検出器（例：[24] からのもの）の後にFVEレイヤーを適用し、最終分類の前に特徴を集約する。
• 分類損失とEM目的関数を組み合わせた損失関数を採用し、GMMがデータ分布を正確にモデル化することを保証する。

実験結果

リサーチクエスチョン

• RQ1 オンラインEM推定を用いた微分可能FVEレイヤーは、標準的なグローバルまたは非微分可能なFVE手法よりも、部分ベースの微細な認識を向上させることができるか？
• RQ2 オンラインEMによるGMMパラメータのエンド・ツー・エンド学習は、勾配ベース最適化と比較して、部分特徴のクラスタリング精度を向上させるか？
• RQ3 本手法のFVEレイヤーは、遮蔽や視点変化による部分の欠損や順序の不定性によって生じる性能低下をどの程度軽減できるか？
• RQ4 既存のFVE実装と比較して、本手法は標準ベンチマークにおけるGMMの適合度と分類精度の両面で優れているか？
• RQ5 FVEレイヤーはCNNパイプラインに効果的に統合可能であり、微細な鳥種分類データセットで最先端の性能を向上させることができるか？

主な発見

• 提案されたオンラインEMベースのFVEレイヤーは、CUB-200-2011データセットで91.1%という最先端の精度を達成し、従来手法の90.3%から向上した。
• NA-Birdsデータセットでは、精度が89.2%から90.3%に向上した。
• Birdsnapデータセットでは、84.9%の精度を達成し、従来の最先端手法より0.6%向上した。
• オンラインEMアルゴリズムは、勾配ベース手法と比較して、はるかに優れたGMMパラメータ推定を実現しており、CUB-200-2011（ResNet50使用時）で重み付き正規化ユークリッド距離が21.49（勾配ベース：46.85）と顕著に低減した。
• アブレーションスタディにより、FVEはGAP（グローバル平均プーリング）を上回ることが確認され、ResNet50では2.9%、InceptionV3では2.3%の精度向上が部分特徴と組み合わせて得られた。
• FVEレイヤーは、部分数や順序の変動に対しても頑健な性能を発揮し、従来の部分ベースモデルで一般的なギャップ補填や固定順序の仮定を排除した。