[論文レビュー] Deep Poselets for Human Detection

Lubomir Bourdev, Fei Yang+1 more|arXiv (Cornell University)|Jul 2, 2014

Human Pose and Action Recognition参考文献 20被引用数 21

ひとこと要約

この論文では、深層畳み込みニューラルネットワーク（CNN）とポーズレットベースの人体検出を組み合わせた Deep Poselets を提案する。PASCAL VOC における人体検出で最先端の性能を達成する。弱いラベル付きポーズレット例を数百万件収集するためのブートストラップ方式を用い、CNN を訓練してコンパクトな 256次元 Pose Discriminative Features（PDF）を生成することで、アスペクト比に依存しない部分検出が可能となり、R-CNN よりも 0.6–1.2% 高い mAP を達成した。

ABSTRACT

We address the problem of detecting people in natural scenes using a part approach based on poselets. We propose a bootstrapping method that allows us to collect millions of weakly labeled examples for each poselet type. We use these examples to train a Convolutional Neural Net to discriminate different poselet types and separate them from the background class. We then use the trained CNN as a way to represent poselet patches with a Pose Discriminative Feature (PDF) vector -- a compact 256-dimensional feature vector that is effective at discriminating pose from appearance. We train the poselet model on top of PDF features and combine them with object-level CNNs for detection and bounding box prediction. The resulting model leads to state-of-the-art performance for human detection on the PASCAL datasets.

研究の動機と目的

• ポーズ、外見、オクルージョンの変動が著しい自然なシーンにおける人体検出の課題に対処する。
• R-CNN や OverFeat のアスペクト比の変動やノイズの多い背景への対処の限界を、部品ベースのモデリングによって克服する。
• レアなポーズレットタイプのための深層ネットワークの学習の複雑さを軽減するため、弱いラベル付きデータ収集のためのブートストラップ法を導入する。
• 最小限の学習データで高速かつ正確なポーズレット分類が可能な、コンパクトでポーズに特化した特徴表現（PDF）を開発する。
• 簡素化されたが効果的なポーズレット-CNN パipラインを用いて、PASCAL VOC における人体検出ベンチマークで最先端の性能を達成する。

提案手法

• 従来の HOG ベースのポーズレットを初期化として用い、ブートストラップ方式により各ポーズレットタイプの数百万件の弱いラベル付き例を自動収集する。
• これらの弱いラベル付き例を用いて、ポーズと外見を区別できる 256次元の Pose Discriminative Feature（PDF）ベクトルを学習するための畳み込みニューラルネットワーク（CNN）を訓練する。
• 訓練済みの CNN を用いてポーズレットパッチからの PDF 特徴を抽出し、それを線形 SVM の学習に用いることでポーズレット分類器を構築する。
• ポーズレット検出結果とオブジェクトレベルの CNN（具体的には R-CNN の FC7 特徴）を組み合わせ、ボクシングボックスの候補を生成し、オブジェクト検出を最適化する。
• テスト時に PDF 特徴を用いてポーズレットを検出することで、微小な不整合（例：±20° の回転、±16px の平行移動）に対して耐性をもち、一般化性能を向上させる。
• 微調整を行わない事前学習済みの R-CNN ネットワークをオブジェクトレベルの分類・回帰に用い、ポーズレットスコアと組み合わせて最終的な検出結果を得る。

実験結果

リサーチクエスチョン

• RQ1 深層特徴は、HOG などの手作業特徴に依存しないポーズレットベースの人体検出を向上させることができるか？
• RQ2 ブートストラップ法は、ポーズレット固有の CNN のための大規模な弱いラベル付き学習データを効果的に生成できるか？
• RQ3 コンパクトな 256次元の PDF 特徴ベクトルは、従来の HOG 特徴と比較して、精度、不整合への耐性、データ効率の面で優れているか？
• RQ4 深層ポーズレットを用いた部品ベースの検出システムは、PASCAL VOC における人体検出で R-CNN デテクタを上回る性能を発揮できるか？
• RQ5 特徴抽出時に正しいアスペクト比を維持することは、歪んだまたはノイズの多い領域候補と比較して、検出性能をどの程度向上させるか？

主な発見

• 提案された Deep Poselets 法は、PASCAL VOC 2007 テストセットで 59.3% の mAP を達成し、R-CNN デテクタ（58.7% mAP）を 0.6 パcentage point 上回った。
• VOC 2010 および 2011 データセットでは、それぞれ 59.3% および 58.7% の mAP を達成し、R-CNN を 1.2% および 0.9% 上回った。
• ジャマーテストセット（わずかなずれあり）において、深層特徴ベースのポーズレット分類器はたった 375 個の正例での平均適合率が 99.44% に達したが、HOG では 70.59% にとどまった。
• PDF 特徴ベクトルは 1476次元（HOG）対 256次元（PDF）であり、推論が高速かつ効率的でありながら高い精度を維持している。
• PDF 特徴は HOG よりも微小な不整合（回転、スケーリング、平行移動）に対してはるかに耐性があり、粗いスキャンが可能となり、推論速度が向上する。
• 各ポーズレットに対してたった 200 個の学習例と微調整なしでも、PDF を用いたポーズレット分類器は、はるかに大きなデータセットで学習された HOG ベースのポーズレットと同等の性能を達成した。