[論文レビュー] Bird Species Categorization Using Pose Normalized Deep Convolutional Nets

Steve Branson, Grant Van Horn+2 more|arXiv (Cornell University)|Jun 11, 2014

Identification and Quantification in Food参考文献 29被引用数 415

ひとこと要約

本稿では、キーポイント検出を用いて画像パッチをアライメントした後に特徴抽出を行う、顔付け正規化された深層畳み込みニューラルネットワークを、細分化された鳥類種分類に提案する。複数の顔付け正規化領域からの微調整済み特徴を組み合わせ、ポーズ空間学習に新しいグラフベースのクラスタリング手法を活用することで、CUB-200-2011で75.7%のトップ1精度を達成し、先行する最先端手法を著しく上回った。

ABSTRACT

We propose an architecture for fine-grained visual categorization that approaches expert human performance in the classification of bird species. Our architecture first computes an estimate of the object's pose; this is used to compute local image features which are, in turn, used for classification. The features are computed by applying deep convolutional nets to image patches that are located and normalized by the pose. We perform an empirical study of a number of pose normalization schemes, including an investigation of higher order geometric warping functions. We propose a novel graph-based clustering algorithm for learning a compact pose normalization space. We perform a detailed investigation of state-of-the-art deep convolutional feature implementations and fine-tuning feature learning for fine-grained classification. We observe that a model that integrates lower-level feature layers with pose-normalized extraction routines and higher-level feature layers with unaligned image features works best. Our experiments advance state-of-the-art performance on bird species recognition, with a large improvement of correct classification rates over previous methods (75% vs. 55-65%).

研究の動機と目的

• 同じ種に近縁な鳥類の間で微細な差異が生じるため、分類が困難な細分化視覚分類の課題に対処する。
• CUB-200-2011データセットで55–65%の精度にとどまっていた、先行する最先端手法を上回る性能を実現する。
• 鳥のポーズや視点の変動に起因するばらつきを低減する、堅牢なポーズ正規化フレームワークを開発する。
• 深層学習特徴抽出戦略および微調整プロトコルの違いが細分化認識に与える影響を調査する。
• 新しいグラフベースのクラスタリングアルゴリズムを用いて、一般化性能を向上させるとともに誤差を低減する、コンactで学習可能なポーズ正規化空間を設計する。

提案手法

• キーポイント検出を用いて鳥のポーズを推定し、類似度に基づくワープ関数を計算することで、画像パッチを代表的なポーズにアライメントする。
• 顔付け正規化された画像パッチに深層畳み込みニューラルネットワーク（CNN）を適用し、複数の層からの特徴を抽出することで、識別能を向上させる。
• ピクセルレベルのアライメント誤差を最小化するように最適化された、コンパクトなポーズ正規化テンプレートのセットを学習するためのグラフベースのクラスタリングアルゴリズムを導入する。
• CUB-200-2011データセット上で事前学習済みImageNet CNNを微調整する二段階のトレーニングプロトコルを用いて、細分化タスクに適した特徴表現を向上させる。
• 複数のポーズ正規化領域（例：頭部、体幹）からの特徴を組み合わせ、グローバル画像およびバウンディングボックス特徴と連結することで性能を向上させる。
• 複数のキーポイントペアから推定された類似度ワープ関数を用いることで、単純なアフィン変換を超える高次元幾何学的正規化を実現する。

実験結果

リサーチクエスチョン

• RQ1 キーポイントに基づくワープによるポーズ正規化は、アライメントされていない画像に適用する通常のCNNと比較して、どのように細分化された鳥類種分類を改善するか？
• RQ2 ポーズ正規化領域を用いる場合とグローバルにアライメントされた特徴を用いる場合とで、CNN層と特徴抽出戦略の最適な組み合わせは何か？
• RQ3 新しいグラフベースのクラスタリング手法は、コンパクトで識別能の高いポーズ正規化空間を学習するためにどの程度有効か？
• RQ4 CUB-200-2011データセット上で事前学習済みCNNを微調整することで、細分化認識の性能はどの程度向上するか？
• RQ5 不完全なキーポイント検出は全体の分類精度にどの程度影響を及ぼし、頑健なCNN特徴はこの劣化を緩和できるか？

主な発見

• 提案手法はCUB-200-2011データセットで75.7%のトップ1精度を達成し、先行する最先端手法と比較して30%の相対的誤差削減を実現した。
• 地面真理の部位（例：頭部、体幹）を用いた複数のポーズ正規化領域からの特徴を組み合わせることで、性能は85.4%に向上し、単一領域ベースラインを著しく上回った。
• ImageNetで事前学習済みのCNNをCUB-200-2011で微調整することで、全領域タイプおよびCNN層において2–10%の精度向上が得られた。二段階微調整法はより安定した向上をもたらした。
• ポーズ正規化特徴には低レベルのCNN層、非アライメント特徴には高レベルのCNN層を用いることで最良の性能が得られ、表現の忠実度の階層的性質を示した。
• 不完全なキーポイント検出でさえも、モデルは強固な性能（75.7%の精度）を維持し、地面真理の部位を用いた85.4%から僅かに低下するにとどまった。これは、検出誤差に対して頑健であることを示した。
• CUB-200-2011でCNNを訓練から行うと、画像レベルの精度が10.9%にまで低下し、小さなデータセットでは過学習を避けるためにImageNetでの事前学習が不可欠であることが明らかになった。