[論文レビュー] Fine-grained pose prediction, normalization, and recognition

Ning Zhang, Evan Shelhamer+2 more|arXiv (Cornell University)|Nov 22, 2015

Image Processing and 3D Reconstruction参考文献 21被引用数 49

ひとこと要約

本稿では、キーポイント位置の同時予測、ポーズ正規化特徴の学習、および細粒度分類を統合するエンドツーエンドで完全畳み込み型の深層ネットワークを提案する。座標変換層を介してキーポイント局所化と特徴プーリングを統合することで、CUB200-2011ベンチマークで85.92%の最先端性能を達成し、細粒度認識における部分対応の強力な教師信号の有効性を示している。

ABSTRACT

Pose variation and subtle differences in appearance are key challenges to fine-grained classification. While deep networks have markedly improved general recognition, many approaches to fine-grained recognition rely on anchoring networks to parts for better accuracy. Identifying parts to find correspondence discounts pose variation so that features can be tuned to appearance. To this end previous methods have examined how to find parts and extract pose-normalized features. These methods have generally separated fine-grained recognition into stages which first localize parts using hand-engineered and coarsely-localized proposal features, and then separately learn deep descriptors centered on inferred part positions. We unify these steps in an end-to-end trainable network supervised by keypoint locations and class labels that localizes parts by a fully convolutional network to focus the learning of feature representations for the fine-grained classification task. Experiments on the popular CUB200 dataset show that our method is state-of-the-art and suggest a continuing role for strong supervision.

研究の動機と目的

• 部分局所化、ポーズ正規化、および細粒度分類を1つのエンドツーエンドで学習可能なネットワークに統合すること。
• キーポイントアノテーションによる強い教師信号を活用することで、細粒度認識の精度を向上させること。
• 手動で設計された提案やボクシングボックスの事前知識に依存しないように、完全畳み込み型のキーポイント予測を用いること。
• 予測されたキーポイント位置に基づいて特徴をプールする座標変換層を設計し、ポーズ不変表現学習を実現すること。
• キーポイント検出と分類の共同学習が、段階的または弱教師付きアプローチと比較して優れた性能を発揮することを示すこと。

提案手法

• 入力画像から直接キーポイント位置を予測する完全畳み込み型ネットワークを用い、ボクシングボックスに依存せずに空間的に正確な局所化を実現する。
• 予測されたキーポイント座標を用いて活性マップからの特徴をプールする座標変換層（意味的プール層）を導入し、ポーズ正規化された特徴抽出を可能にする。
• 分類損失とキーポイント局所化損失を統合した損失関数を用いてエンドツーエンドで学習し、バックプロパゲーションにより部分検出と特徴学習の両方を同時に最適化する。
• 部分特徴を豊富で判別性の高い表現に集約するため、コンactバイラーニアープールを採用する。
• 二重スティームアーキテクチャを採用：キーポイント予測用の局所化ネットワークと、座標変換層を介して部分特徴を集約する分類ネットワーク。
• 事前学習済みImageNetモデルを活用し、強いキーポイント教師信号を用いた弱教師付きデータで、ネットワーク全体を微調整する。

実験結果

リサーチクエスチョン

• RQ1 キーポイント局所化と細粒度分類のエンドツーエンド学習が、同時に認識精度を向上させることができるか？
• RQ2 予測されたキーポイントを用いたポーズ正規化が、明示的なキーポイント教師信号なしの包括的または部分ベースのモデルと比較して、より優れた特徴表現をもたらすか？
• RQ3 細粒度認識タスクにおいて、クラスラベルのみを用いた弱教師付き学習と比較して、キーポイントアノテーションによる強い教師信号はどのように性能を向上させるか？
• RQ4 完全畳み込み型アーキテクチャは、領域提案やボクシングボックスの事前知識に依存せずに、高精度なキーポイント局所化を達成できるか？
• RQ5 局所化と分類の共同最適化は、段階的パイプラインと比較して、誤差伝搬をどの程度軽減できるか？

主な発見

• 提案手法はCUB200-2011データセットで85.92%のトップ1精度を達成し、細粒度認識分野における新たな最先端性能を樹立した。
• ポーズ正規化特徴にコンパクトバイリニアープールを適用すると83.00%の精度に向上し、部分ネットワークの微調整によりさらに85.92%まで向上した。
• ボクシングボックスの教師信号なしで、α=0.05におけるPCK（正しく局所化されたキーポイントの割合）が76.3%を達成し、先行手法を上回る部分局所化性能を示した。
• アブレーションスタディの結果、キーポイント局所化ヘッドと分類ヘッドを同時に学習させることで、分離して学習する場合（65.10%精度）よりも優れた結果が得られた。
• 座標変換層により、予測されたキーポイント位置での特徴プールが効果的に実現され、ポーズ不変表現が得られ、細粒度クラス間の判別性が向上した。
• 可視化結果から、予測されたキーポイントが鳥の体部に正確に局所化されていることが確認されたが、左右の混同や小スケールの境界付近ではわずかな誤差が生じた。