[論文レビュー] Segmentation Mask Guided End-to-End Person Search

Dingyuan Zheng, Jimin Xiao+2 more|arXiv (Cornell University)|Aug 27, 2019

Video Surveillance and Tracking Methods参考文献 46被引用数 4

ひとこと要約

本論文は、セグメンテーションマスクを用いて特徴抽出をガイドすることで、歩行者バウンディングボックス内の背景の雑音の影響を軽減する、エンドツーエンドの人物検索フレームワークを提案する。統合されたネットワーク内で検出、再識別、セグメンテーションを同時に最適化することにより、CUHK-SYSUベンチマークで86.3%のmAPおよび86.5%のトップ1精度を達成し、最先端の性能を実現した。

ABSTRACT

Person search aims to search for a target person among multiple images recorded by multiple surveillance cameras, which faces various challenges from both pedestrian detection and person re-identification. Besides the large intra-class variations owing to various illumination conditions, occlusions and varying poses, background clutters in the detected pedestrian bounding boxes further deteriorate the extracted features for each person, making them less discriminative. To tackle these problems, we develop a novel approach which guides the network with segmentation masks so that discriminative features can be learned invariant to the background clutters. We demonstrate that joint optimization of pedestrian detection, person re-identification and pedestrian segmentation enables to produce more discriminative features for pedestrian, and consequently leads to better person search performance. Extensive experiments on benchmark dataset CUHK-SYSU, show that our proposed model achieves the state-of-the-art performance with 86.3% mAP and 86.5 top-1 accuracy respectively.

研究の動機と目的

• 人物検索における特徴の識別性を低下させる歩行者バウンディングボックス内の背景の雑音の課題に対処する。
• 検出、再識別、セグメンテーションを別々の段階として扱う従来手法の制限を克服する。
• エンドツーエンドのアプローチで歩行者検出、人物再識別、セグメンテーションを同時に最適化することで、人物検索の性能を向上させる。
• 部分的にラベル付けされたセグメンテーションマスクを統合フレームワーク内で特徴学習をガイドする手段として効果的に活用できるかを示す。
• 提案手法の学習と評価を支援するため、1,833枚の画像を含む新しいデータセットを構築する。

提案手法

• 特徴抽出をセグメンテーションマスクでガイドする平行なマスクブランチをネットワークに導入し、フォアグラウンド特徴抽出を強化する。
• エンドツーエンドで学習し、歩行者検出、人物再識別、歩行者セグメンテーションを同時に最適化する。
• 訓練データの16%（11,206枚中1,833枚）の画像に真値のセグメンテーションマスクを用いて、マスクガイドド特徴学習を監視する。
• セグメンテーションマスクをソフトアテンション機構として活用し、背景特徴を抑制し、識別性の高い人体領域に注目を向ける。
• 特徴抽出にResNet-50またはResNet-101バックボーンを採用し、すべてのモジュールを同時に最適化するためのマルチタスク学習戦略を採用する。
• グローバル画像特徴とマスク条件付きローカル特徴を統合するマスク認識特徴集約モジュールを採用し、表現のロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーションマスクを効果的に用いて、背景の雑音の影響を低減する人物検索における特徴学習をガイドできるか？
• RQ2 検出、再識別、セグメンテーションをエンドツーエンドで同時に最適化することで、段階的アプローチよりも優れた性能が得られるか？
• RQ3 訓練画像のうちセグメンテーションマスクが付与された割合が、最終的な人物検索性能にどのように影響するか？
• RQ4 遮蔽や低解像度といった困難な状況下でも、提案手法が優れた性能を維持できるか？
• RQ5 本フレームワークは、ギャラリーのサイズが異なる状況や実世界の監視環境においても頑健であるか？

主な発見

• 提案手法は、CUHK-SYSUデータセットで86.3%のmAPおよび86.5%のトップ1精度を達成し、新たな最先端性能を樹立した。
• ギャラリーのサイズが50から4,000に変化する範囲でも一貫して優れた性能を示し、スケール変動に対するロバストネスを実証した。
• 低解像度および遮蔽サブセットでは、それぞれ66.7%のmAPおよび66.8%のトップ1精度（低解像度）と、70.8%のmAPおよび71.3%のトップ1精度（遮蔽）を達成し、先行手法を上回った。
• アブレーションスタディの結果、訓練画像の12%にセグメンテーションマスクが含まれるようになると性能が顕著に向上し、15%で安定し、16%で飽和することがわかった。
• 可視化比較では、複雑な背景においてもベースライン手法（OIM や E2E-PS）よりも、ターゲット人物をより頻繁に正しく再取得していることが確認された。
• セグメンテーションマスクをガイド信号として統合することで、質的比較におけるランク付け結果の向上が示され、より識別性の高い特徴が得られていることが裏付けられた。