[論文レビュー] Do Not Disturb Me: Person Re-identification Under the Interference of Other Pedestrians

Shizhen Zhao, Changxin Gao+8 more|arXiv (Cornell University)|Aug 16, 2020

Video Surveillance and Tracking Methods参考文献 47被引用数 8

ひとこと要約

本論文では、質問に従ったアテンション機構を用いて、混雑したシーンにおける人物再識別における他の歩行者の干渉を抑制する、Pedestrian-Interference Suppression Network (PISNet) を提案する。Query-Guided Attention Block (QGAB)、Guidance Reversed Attention Module (GRAM)、Multi-Person Separation Loss (MPSL) を用いることで、PISNet は2つの新しい歩行者干渉あり再識別データセットで最先端の性能を達成し、複数人による隠蔽に強い性能を示した。

ABSTRACT

In the conventional person Re-ID setting, it is widely assumed that cropped person images are for each individual. However, in a crowded scene, off-shelf-detectors may generate bounding boxes involving multiple people, where the large proportion of background pedestrians or human occlusion exists. The representation extracted from such cropped images, which contain both the target and the interference pedestrians, might include distractive information. This will lead to wrong retrieval results. To address this problem, this paper presents a novel deep network termed Pedestrian-Interference Suppression Network (PISNet). PISNet leverages a Query-Guided Attention Block (QGAB) to enhance the feature of the target in the gallery, under the guidance of the query. Furthermore, the involving Guidance Reversed Attention Module and the Multi-Person Separation Loss promote QGAB to suppress the interference of other pedestrians. Our method is evaluated on two new pedestrian-interference datasets and the results show that the proposed method performs favorably against existing Re-ID methods.

研究の動機と目的

• 複数人の歩行者が含まれる検出ボックスによって特徴が汚染される混雑したシーンにおける人物再識別の課題に対処すること。
• 不要な歩行者特徴を抑制することで、多人数画像における特徴の明確さと位置特定の正確性を向上させること。
• 質問に従ったアテンションと対照的損失を用いて干渉抑制を明示的にモデル化する新しいフレームワークを提案すること。
• 歩行者干渉あり再識別を評価するための2つの新しいベンチマークデータセット — PI-CUHK-SYSU と PI-PRW — を導入すること。
• 本手法が干渉が強い状況を想定して設計されていながらも、標準的な再識別ベンチマークに一般化できることを示すこと。

提案手法

• PISNet は、人物画像から深層特徴を抽出するために Fully Convolutional Network (FCN) バックボーンを採用する。
• Query-Guided Attention Block (QGAB) は、質問埋め込みに従って照合画像内の関連領域に注目することで、ターゲット特徴を強化する。
• Guidance Reversed Attention Module (GRAM) は、洗練された照合画像特徴を用いて他の多人数画像における注目学習をガイドし、空間的局所化の正確性を向上させる。
• Multi-Person Separation Loss (MPSL) は、同じ照合画像に適用された異なる質問間の特徴距離を最大化することで、特徴の明確さを促進する。
• モデルは、三重項損失と MPSL の組み合わせによりエンドツーエンドで訓練され、アイデンティティ識別性と干渉抑制の両方を最適化する。
• 注目マップの可視化により、ネットワークが非ターゲット歩行者を抑制し、ターゲットに注目していることが確認された。

実験結果

リサーチクエスチョン

• RQ1 質問に従ったアテンション機構は、多人数再識別画像における他の歩行者の干渉を効果的に抑制できるか？
• RQ2 Guidance Reversed Attention Module (GRAM) は、混雑したシーンにおける注目局所化の正確性をどのように向上させるか？
• RQ3 Multi-Person Separation Loss (MPSL) は、同じ照合画像上での異なる質問間の特徴の明確さをどの程度向上させるか？
• RQ4 PISNet は干渉に特化したデータセットで訓練されたにもかかわらず、標準的な再識別ベンチマークに一般化できるか？
• RQ5 損失重み α と β のようなハイパーパramータの変化に対して、モデルの性能はどの程度感度を示すか？

主な発見

• Market-1501 では 95.6% の rank-1 精度と 87.1% の mAP を達成し、最先端の Occluded Re-ID 手法を上回った。
• DukeMTMC-ReID データセットでは 88.8% の rank-1 精度と 78.7% の mAP を達成し、標準的な再識別ベンチマークへの強い一般化能力を示した。
• アブレーションスタディにより、QGAB、GRAM、MPSL の各モジュールが個別に有効であるだけでなく、組み合わせて使用することで相乗効果を発揮することが確認された。
• 可視化結果から、注目マップが非ターゲット歩行者を効果的に抑制し、ターゲットに注目していることが示され、モデルの注目メカニズムの有効性が裏付けられた。
• ハイパーパramータの変化に対して安定した性能を示し、α と β の広い範囲で性能が安定していた。
• PISNet は、干渉に特化した設定に限らず、一般の再識別ベンチマークでも既存の Occluded Re-ID 手法を大きく上回った。これは、本手法が干渉に強い環境にとどまらず、より広範な応用に適していることを示している。