[論文レビュー] Robust Partial Matching for Person Search in the Wild

Yingji Zhong, Xiaoyu Wang+1 more|arXiv (Cornell University)|Apr 20, 2020

Video Surveillance and Tracking Methods参考文献 12被引用数 5

ひとこと要約

本論文は、全身の身体領域をカバーするように検出を精緻化し、部分的な特徴マッチングを可能にする統合的person searchフレームワーク、Align-to-Part Network (APNet) を提案する。APNetは、LSPSと呼ばれる新しい大規模で挑戦的なデータセットおよびベンチマークで最先端の性能を達成しており、LSPSでは51.6%のrank-1精度と17.1%のmAPを記録し、遮蔽やノイズの多い検出が生じる実世界のシナリオにおいて、先行手法を顕著に上回っている。

ABSTRACT

Various factors like occlusions, backgrounds, etc., would lead to misaligned detected bounding boxes , e.g., ones covering only portions of human body. This issue is common but overlooked by previous person search works. To alleviate this issue, this paper proposes an Align-to-Part Network (APNet) for person detection and re-Identification (reID). APNet refines detected bounding boxes to cover the estimated holistic body regions, from which discriminative part features can be extracted and aligned. Aligned part features naturally formulate reID as a partial feature matching procedure, where valid part features are selected for similarity computation, while part features on occluded or noisy regions are discarded. This design enhances the robustness of person search to real-world challenges with marginal computation overhead. This paper also contributes a Large-Scale dataset for Person Search in the wild (LSPS), which is by far the largest and the most challenging dataset for person search. Experiments show that APNet brings considerable performance improvement on LSPS. Meanwhile, it achieves competitive performance on existing person search benchmarks like CUHK-SYSU and PRW.

研究の動機と目的

• 遮蔽や限られたカメラ視野による影響でグローバル特徴マッチングが劣化する、person searchにおける誤って配置された人物ボクシングボックスという見過ごされがちな問題に取り組む。
• 部分的な身体の可視性、ごみだらけの背景、スケールの変化といった実世界の課題に対して、検出ボックスの精緻化と可視部分に注目することで、耐性を高める。
• 検出と再識別を統合的に最適化する統一フレームワークを提案し、別々のモデルを用いる方法の非効率性を回避する。
• 実際のperson searchの課題をよりよく反映するため、自動でアノテートされたボクシングボックスを備えた新しい大規模で現実的なデータセット（LSPS）を提供する。
• 整列された可視身体部分に基づく部分的特徴マッチングが、誤って配置されたボックスや遮蔽下でもマッチング精度を顕著に向上させることを示す。

提案手法

• 全身領域をカバーするように検出ボックスを精緻化するためのBounding Box Aligner (BBA) モジュールを導入し、4つのオフセット値を予測する。このモジュールは、手動アノテーションに依存せず、データ拡張を用いて学習される。
• 精緻化されたボクシングボックスから判別力のある部分特徴を抽出するためのRegion-Sensitive Feature Extractor (RSFE) を設計し、局所的特徴を強化するとともに、隣接領域からのノイズ干渉を低減する。
• 人物再識別を部分マッチング問題として定式化し、遮蔽またはノイズの多い領域からの特徴は無視し、有効で可視な部分特徴のみを類似度計算に使用する。
• OIMに基づく統一アーキテクチャを採用し、BBAとRSFEを最小限の計算コストで統合することで、ベースラインモデルと同等の推論速度を維持する。
• APNet+vでは垂直ストライプ特徴を導入し、水平方向の誤差に対して性能をさらに向上させ、複雑なシーンにおける耐性を高める。
• BBAモジュールのエンドツーエンド学習に自動データ拡張を活用し、高価な人手によるボックス補正に依存しない。

実験結果

リサーチクエスチョン

• RQ1 誤って配置された人物ボクシングボックスを全身領域をカバーするように精緻化することで、実世界のシナリオにおける人物再識別性能が向上するか？
• RQ2 遮蔽やカメラ制限によるボックスの誤差がある状況で、可視部分に注目した部分的特徴マッチングが、グローバル特徴マッチングを上回る性能を発揮するか？
• RQ3 検出と再識別を統合したフレームワークは、別々のモデルを用いる場合に比べ、より高い効率性と正確性を達成できるか？
• RQ4 自動検出ボックスと高い遮蔽率を有する大規模で現実的なデータセット上で、提案手法はどの程度の性能を示すか？
• RQ5 垂直ストライプ特徴の導入が、水平方向の誤差に対して性能をどの程度向上させるか？

主な発見

• APNetはCUHK-SYSUで88.9%のmAPと89.3%のrank-1精度を達成し、強力なバックボーンを用いた最近の手法を上回った。
• PRWでは41.9%のmAPと81.4%のrank-1精度を達成し、弱いバックボーンを用いてもRDLRを9.3%上回った。
• 新規のLSPSデータセットでは、17.1%のmAPと51.6%のrank-1精度を達成し、ベースラインのOIMに比べ3.9%の向上を示した。
• 垂直ストライプ特徴を統合したAPNet+vは、LSPSで18.8%のmAPと55.7%のrank-1を達成し、多方向部分マッチングの有効性を示した。
• 計算コストはわずかに増加し、2080Ti GPUで0.397 TFLOPsと、OIMの0.383 TFLOPsに比べわずかに上回るが、最小限の計算コストであることが示された。
• APNetはPRWにおいてQEEPSとCGPSを顕著に上回り、それぞれ4.7%および7.8%高いrank-1精度を達成したが、統合推論によりより効率的であった。