[論文レビュー] IAN: The Individual Aggregation Network for Person Search

Jimin Xiao, Yanchun Xie+4 more|arXiv (Cornell University)|May 16, 2017

Video Surveillance and Tracking Methods参考文献 10被引用数 9

ひとこと要約

本論文は、Faster R-CNNと新しいセンター損失を用いて、pedestrian検出と再識別を共同最適化する、エンドツーエンドの深層学習フレームワークであるIndividual Aggregation Network (IAN)を提案する。クラス中心に特徴を学習することで、同一人物の特徴の変動を最小化し、最先端の性能を達成し、CUHK-SYSUで77.23%のmAPと80.45%のトップ1正答率を達成した。これは従来手法よりそれぞれ1.7%と1.85%高い性能である。

ABSTRACT

Person search in real-world scenarios is a new challenging computer version task with many meaningful applications. The challenge of this task mainly comes from: (1) unavailable bounding boxes for pedestrians and the model needs to search for the person over the whole gallery images; (2) huge variance of visual appearance of a particular person owing to varying poses, lighting conditions, and occlusions. To address these two critical issues in modern person search applications, we propose a novel Individual Aggregation Network (IAN) that can accurately localize persons by learning to minimize intra-person feature variations. IAN is built upon the state-of-the-art object detection framework, i.e., faster R-CNN, so that high-quality region proposals for pedestrians can be produced in an online manner. In addition, to relieve the negative effect caused by varying visual appearances of the same individual, IAN introduces a novel center loss that can increase the intra-class compactness of feature representations. The engaged center loss encourages persons with the same identity to have similar feature characteristics. Extensive experimental results on two benchmarks, i.e., CUHK-SYSU and PRW, well demonstrate the superiority of the proposed model. In particular, IAN achieves 77.23% mAP and 80.45% top-1 accuracy on CUHK-SYSU, which outperform the state-of-the-art by 1.7% and 1.85%, respectively.

研究の動機と目的

• ポーズ、照明、遮蔽の影響により視覚的外観が著しく変化する実世界の監視環境において、pedestrianのバウンディングボックスが入手できない状況での人物検索の課題に対処すること。
• 検出と再識別を共同で最適化するエンドツーエンドフレームワークを構築し、分離最適化よりも耐障害性と精度を向上させること。
• 外観の変動によって引き起こされる同一人物の特徴分散を低減し、同じアイデンティティの特徴の凝縮性を向上させること。
• ドロップアウトが深層ニューラルネットワークにおけるセンター損失と、人物検索の文脈で互換性があるかどうかを調査すること。

提案手法

• IANは、画像全体におけるpedestrianの高品質でオンラインの領域提案を生成するために、Faster R-CNNオブジェクト検出フレームワークに基づいている。
• 同一クラス内の特徴分散を最小化するため、同じアイデンティティの特徴をそのクラス中心に引き寄せる新しいセンター損失が導入された。
• センター損失はエンドツーエンドの学習パイプラインに統合されており、検出と再識別の共同最適化が可能になり、特徴の凝縮性が向上した。
• 分類のためのソフトマックス損失と、クラス内凝縮性のためのセンター損失を組み合わせて学習することで、特徴の識別性を高める。
• 相性の調査により、ドロップアウトとセンター損失には勾配の競合があることが判明し、最終モデルではドロップアウト層を削除した。
• VGGNetとResNet-101を用いて、CUHK-SYSUおよびPRWベンチマークで評価され、ガラリーのサイズが異なる状況や困難な条件下でも耐障害性を示した。

実験結果

リサーチクエスチョン

• RQ1 分離された検出と再識別パイプラインと比較して、エンドツーエンドの共同学習フレームワークは、人物検索の精度を向上させることができるか？
• RQ2 監視画像における外観の変動によって引き起こされる同一人物の特徴分散を低減する目的で、センター損失はどの程度有効か？
• RQ3 Faster R-CNNにセンター損失を統合することで、実世界の人物検索シナリオにおける検出と再識別性能が向上するか？
• RQ4 なぜドロップアウトはこの文脈でセンター損失と互換性がないのか、そしてその影響がモデル設計にどのように現れるか？
• RQ5 遮蔽、低解像度、および大規模なガラリーのサイズといった困難な条件下で、提案されたIANモデルはどの程度の性能を発揮するか？

主な発見

• IANはCUHK-SYSUデータセットで77.23%のmAPと80.45%のトップ1正答率を達成し、以前の最先端手法をそれぞれ1.7%と1.85%上回った。
• PRWデータセットでは、IANは23.00%のmAPと61.85%のトップ1正答率を達成し、DPM-Alex+IDE detを上回ってトップ1正答率で14ポイント以上も優れていた。
• ガラリーのサイズが4,000の場合、IANはResNet-101を用いてE2E-PS [16] よりも10%以上のmAP向上を達成し、優れたスケーラビリティを示した。
• 低解像度および遮蔽のサブセットでは、IANはそれぞれ52.60%と53.02%のmAPを達成し、E2E-PS [16] よりも顕著な優位性を示した。
• アブレーションスタディにより、ドロップアウト層を削除することで性能が向上することが確認され、IANフレームワークにおけるドロップアウトとセンター損失の不適合性が裏付けられた。
• 複数のベンチマークおよび困難な条件下でも一貫した優位性を示し、センター損失がクラス内凝縮性を向上させる有効性が確認された。