[論文レビュー] Context-aware CNNs for person head detection

Tuan-Hung Vu, Anton Osokin+1 more|HAL (Le Centre pour la Communication Scientifique Directe)|Nov 24, 2015

Face recognition and analysis参考文献 31被引用数 18

ひとこと要約

本論文では、局所的、グローバル的、ペairワイズな文脈的手がかりを統合した統合モデルに、文脈に配慮したCNNフレームワークを提案し、人物の頭部検出を実現する。本研究では、224,740枚の映像フレームに369,846個の頭部を含む大規模なデータセットを構築し、R-CNNを含む先行研究と比較して、より高い精度と高速な推論を達成する、複数のベンチマークで最先端の性能を示した。

ABSTRACT

Person detection is a key problem for many computer vision tasks. While face detection has reached maturity, detecting people under a full variation of camera view-points, human poses, lighting conditions and occlusions is still a difficult challenge. In this work we focus on detecting human heads in natural scenes. Starting from the recent local R-CNN object detector, we extend it with two types of contextual cues. First, we leverage person-scene relations and propose a Global CNN model trained to predict positions and scales of heads directly from the full image. Second, we explicitly model pairwise relations among objects and train a Pairwise CNN model using a structured-output surrogate loss. The Local, Global and Pairwise models are combined into a joint CNN framework. To train and test our full model, we introduce a large dataset composed of 369,846 human heads annotated in 224,740 movie frames. We evaluate our method and demonstrate improvements of person head detection against several recent baselines in three datasets. We also show improvements of the detection speed provided by our model.

研究の動機と目的

• 遮蔽、ポーズの変化、照明の悪さが生じる複雑なシーンにおける人物の頭部検出を改善すること。
• オブジェクトを独立して扱い、文脈的推論を行わない既存のオブジェクト検出器の限界を解決すること。
• 局所的、グローバル的、ペアワイズな文脈的手がかりを統合した、共同のディープラーニングフレームワークを構築すること。
• トレーニングと評価のための、自然な動画フレームに含まれる人物の頭部を高品質にアノテートした大規模データセットを構築すること。
• 最近のベースライン（例：R-CNN）と比較して、検出精度と推論速度の両方を向上させること。

提案手法

• 局所CNNモデルはR-CNNフレームワークに基づき、領域特徴を用いてオブジェクト候補から頭部を検出する。
• グローバルCNNモデルは、低解像度の全体画像を処理することで、頭部の位置とスケールを予測し、シーンレベルの文脈を捉える。
• ペアワイズCNNモデルは、相対的な位置、スケール、外観をモデル化する統合関数を用いて、オブジェクトペアの構造的スコアを学習する。
• ペアワイズモデルは、共同検出性能を最適化するために、構造的出力の代替損失関数を用いて訓練される。
• 局所モデル、グローバルモデル、ペアワイズモデルの3つのモデルは、学習されたガンマパラメータを用いた重み付き統合戦略により統合される。
• 224,740枚の映像フレームに369,846個のアノテート済み人物の頭部を含む大規模なデータセットを、トレーニングと評価のために導入した。

実験結果

リサーチクエスチョン

• RQ1 シーン全体の文脈的情報を活用することで、複雑でごみだらけのシーンにおける頭部検出精度が著しく向上するか？
• RQ2 頭部検出同士のペアワイズ関係をモデル化することで、局所化精度が向上し、誤検出が減少するか？
• RQ3 局所的、グローバル的、ペアワイズなCNNを統合することで、単体モデルと比較して優れた検出性能が得られるか？
• RQ4 文脈に配慮したCNNフレームワークは、高い精度を維持しながら、高速な推論を達成できるか？
• RQ5 多様なポーズ、遮蔽、照明条件を含む実世界の動画データに対して、本手法はどのように性能を発揮するか？

主な発見

• 提案された文脈に配慮したCNNフレームワークは、3つのベンチマークデータセットで最先端の性能を達成し、平均適合率（Average Precision）においてR-CNNや他の最近のベースラインを上回った。
• グローバルCNNモデル単体でも、多様な画像スケールと位置において、正確な粗い局所化を実現しており、全体画像の文脈の価値を示している。
• ペアワイズCNNモデルは、頭部検出同士の引力的および反発的関係をモデル化することで、誤検出を低減し、局所化の一貫性を向上させた。
• 共同モデルは、グローバルモデルによる高品質な候補生成のおかげで、標準的なR-CNNよりも高速な推論を達成した。
• 369,846個の頭部を含む224,740枚の動画フレームからなる新規データセットのおかげで、遮蔽が生じるような困難な状況でも、より強固なトレーニングと信頼性の高い評価が可能になった。
• 改良版Casablancaデータセットでは、本手法はVJ-CRFや他のベースラインを著しく上回り、高品質なアノテーションと文脈モデリングの影響を確認した。