[論文レビュー] PANDA: Pose Aligned Networks for Deep Attribute Modeling

Ning Zhang, Manohar Paluri+3 more|arXiv (Cornell University)|Nov 21, 2013

Human Pose and Action Recognition参考文献 24被引用数 23

ひとこと要約

PANDAは、ポーズに合わせたパーツ検出器（ポーズレット）と畳み込みニューラルネットワーク（CNN）を組み合わせることで、人体属性認識を向上させる画期的なディープラーニングフレームワークを導入した。ポーズ正規化された画像パッチ上で別個に訓練されたCNNの特徴を連結することで、PANDAは、ポーズや視点の変化が著しい状況においても、Berkeley Attributes of PeopleやLFWといったベンチマークデータセットで、包括的CNNやパーツベースのモデルを上回る最先端の性能を達成した。

ABSTRACT

We propose a method for inferring human attributes (such as gender, hair style, clothes style, expression, action) from images of people under large variation of viewpoint, pose, appearance, articulation and occlusion. Convolutional Neural Nets (CNN) have been shown to perform very well on large scale object recognition problems. In the context of attribute classification, however, the signal is often subtle and it may cover only a small part of the image, while the image is dominated by the effects of pose and viewpoint. Discounting for pose variation would require training on very large labeled datasets which are not presently available. Part-based models, such as poselets and DPM have been shown to perform well for this problem but they are limited by shallow low-level features. We propose a new method which combines part-based models and deep learning by training pose-normalized CNNs. We show substantial improvement vs. state-of-the-art methods on challenging attribute classification tasks in unconstrained settings. Experiments confirm that our method outperforms both the best part-based methods on this problem and conventional CNNs trained on the full bounding box of the person.

研究の動機と目的

• 制約のない環境における正確な人体属性認識の課題に取り組むこと。特に、顔の向きやポーズ、遮蔽の変動が著しい状況を想定する。
• ポーズや外見の変動に支配される中で、微細な属性信号を捉えにくくなる包括的CNNの限界を克服すること。
• パーツベースのモデル（例：ポーズレットの局所化）の長所をディープラーニングと統合し、ポーズ正規化された特徴学習を可能にすること。
• 全画像CNNと比較して、局所的でポーズ正規化されたパーツ上で訓練されたディープネットワークが、データ量が限られた状況でも優れた性能を発揮することを示すこと。
• 属性予測タスクやデータセットを横断的に汎用的かつ再利用可能な特徴表現を開発すること。

提案手法

• 本手法は、キーポイントアノテーション付き画像上で学習されたパーツ検出器（ポーズレット）を用い、特定のポーズ下で意味的に重要な身体部位（例：顔、胴体）を局所化する。
• 各ポーズレットに対して、検出された部位を中心としたクロップされた画像パッチ上で別個のディープCNNを訓練し、ポーズ正規化された特徴を学習する。
• すべてのポーズレット固有のCNNの最終層活性化を連結することで、統一的でポーズに合わせたディープ表現を構築する。
• 最終的な属性予測は、連結されたポーズ正規化特徴上で訓練された線形SVM分類器を用いて行う。
• 2段階のパイプラインを用いて、エンド・ツー・エンドでフレームワークを訓練する：まずキーポイントデータからポーズレットを学習し、次にその結果得られるパッチ上でパーツ固有のCNNを訓練する。
• 本手法は、DPMパーツなどの他のパーツ検出器への応用も可能であり、データセット間での特徴再利用をサポートする。

実験結果

リサーチクエスチョン

• RQ1 パーツベースの局所化とディープCNNを組み合わせることで、顕著なポーズや視点の変化がある状況下でも属性認識性能が向上するか？
• RQ2 全人物バウンディングボックスではなく、ポーズ正規化された画像パッチ上でCNNを訓練することで、特にデータ量が限られた状況でもより良い特徴学習が達成されるか？
• RQ3 実世界の制約のある属性データセットにおいて、PANDAの性能は最先端の包括的CNNやパーツベースのモデルと比較してどの程度優れているか？
• RQ4 複数の冗長なポーズレット検出器を用いることで、属性予測のロバスト性と精度がどの程度向上するか？
• RQ5 ポーズ正規化されたディープ表現は、再訓練なしに異なるデータセットや属性タイプに一般化可能か？

主な発見

• Labeled Faces in the Wild（LFW）データセットにおける性別認識で、PANDAは99.54%の平均精度を達成し、以前の最先端手法（Simileの95.52%、フロントフェースポーズレットの96.43%）を大きく上回った。
• Berkeley Attributes of Peopleデータセットでは、PANDAは最先端の性能を達成し、ポーズや視点の変化がある中でも、性別、髪型、服装スタイルなどの属性分類において優れた正確性を示した。
• 23.5Kの訓練例しか使用しなかったにもかかわらず、90Kの例で訓練された包括的CNN（DL Pure）を上回った。これは、ポーズ正規化がより効率的な学習を可能にすることを示している。
• PANDAの性能向上は、遮蔽や非フロントビューの困難なケースで顕著であり、ここでは包括的CNNは微細な属性信号を捉えられなかった。
• 複数のポーズレットベースの分類器を組み合わせることでロバスト性が向上することが示された。フロントフェースポーズレット単体ではPANDA全体の性能を下回った。これは、補完的な信号学習が行われていることを示唆している。
• PANDAの特徴表現は汎用的かつ転送可能であり、CNNが別のデータセット（Attribute-25K）で訓練された場合でも、性別認識タスクで強力な結果を達成した。