[論文レビュー] Foreground-aware Pyramid Reconstruction for Alignment-free Occluded Person Re-identification

Lingxiao He, Yinggang Wang+5 more|arXiv (Cornell University)|Apr 10, 2019

Video Surveillance and Tracking Methods参考文献 20被引用数 52

ひとこと要約

本論文は、 foreground-aware Pyramid Reconstruction (FPR) を導入します。FCNベースの空間ピラミッドと前景ガイド再構成を用いた alignment-free の遮蔽人物 ReID 手法で、外部の手がかりなしに遮蔽を扱います。

ABSTRACT

Re-identifying a person across multiple disjoint camera views is important for intelligent video surveillance, smart retailing and many other applications. However, existing person re-identification (ReID) methods are challenged by the ubiquitous occlusion over persons and suffer from performance degradation. This paper proposes a novel occlusion-robust and alignment-free model for occluded person ReID and extends its application to realistic and crowded scenarios. The proposed model first leverages the full convolution network (FCN) and pyramid pooling to extract spatial pyramid features. Then an alignment-free matching approach, namely Foreground-aware Pyramid Reconstruction (FPR), is developed to accurately compute matching scores between occluded persons, despite their different scales and sizes. FPR uses the error from robust reconstruction over spatial pyramid features to measure similarities between two persons. More importantly, we design an occlusion-sensitive foreground probability generator that focuses more on clean human body parts to refine the similarity computation with less contamination from occlusion. The FPR is easily embedded into any end-to-end person ReID models. The effectiveness of the proposed method is clearly demonstrated by the experimental results (Rank-1 accuracy) on three occluded person datasets: Partial REID (78.30\%), Partial iLIDS (68.08\%) and Occluded REID (81.00\%); and three benchmark person datasets: Market1501 (95.42\%), DukeMTMC (88.64\%) and CUHK03 (76.08\%)

研究の動機と目的

• Maskやポーズなどの外部手がかりに依存せず、人物再識別における遮蔽へ対処する。
• ピラミッド特徴と再構成誤差に基づく alignment-free なマッチングスコアを開発する。
• 前景確率マップで再構成をガイドし、遮蔽/背景の汚染を低減する。
• 既存のReIDモデルとエンドツーエンドに統合可能で、遮蔽時のRank-1とmAPを改善する。

提案手法

• 可変サイズの人物画像からマルチスケールの空間特徴を抽出するFullly Convolutional Network (FCN)とPyramid Poolingを使用する。
• 空間特徴からギャラリ特徴行列とプローブ特徴行列を構築し、ギャラリ特徴からプローブ特徴を線形再構成する。
• 再構成残差を計算し、前景確率ベクトルに導かれた重み付き再構成誤差として距離を定義する。
• ハードトリップレット損失と前景確率生成器損失を同時に用いて識別性の高い特徴と正確な前景マップを学習する。
• 前景確率生成器は1x1 Convとsoftmaxを用いて前景確率マップを生成し、前景の可能性に基づいて特徴を重み付けする。
• FPRをReIDモデル内のエンドツーエンドモジュールとして組み込み、アライメント手順を必要とせずに動作させる。

実験結果

リサーチクエスチョン

• RQ1 空間ピラミッド再構成に基づく alignment-free なマッチングスコアは、重い遮蔽下でも堅牢なReIDを達成できるか？
• RQ2 前景認識を取り入れた空間特徴の重み付けは、遮蔽/背景の汚染を最小化することでマッチングを改善するか？
• RQ3 提案手法は標準的なReIDトレーニングへの統合性はどうか、遮蔽データセットと非遮蔽データセットのRank-1/mAPにどのような影響を与えるか？

主な発見

手法	Occluded_REID_R1	Occluded_REID_mAP	Partial_REID_R1	Partial_REID_mAP	Partial_iLIDS_R1	Partial_iLIDS_mAP
MaskReID	26.80	25.00	33.00	30.40	-	-
PCB	41.30	38.90	56.30	54.70	46.80	40.20
AMC+SWM	31.12	27.33	34.27	31.33	38.67	31.33
DSR	72.80	62.83	73.67	68.07	64.29	58.12
Baseline	42.12	37.24	53.33	50.20	52.94	43.53
FPR (ours)	78.30	68.00	81.00	76.60	68.08	61.78

• FPRは三つの遮蔽ReIDデータセットにおいて最先端の結果を達成：Partial REID (Rank-1 81.00%, mAP 76.60%), Partial iLIDS (Rank-1 68.08%, mAP 61.78%), Occluded REID (Rank-1 78.30%, mAP 68.00%)。
• 標準ベンチマークのMarket1501, DukeMTMC, CUHK03では、FPRは競争力のある結果を達成（Rank-1 約95.42%/76.08%/88.64%、mAP 約86.58%/72.31%/78.42%）。
• FPRは外部手がかりやアライメントに依存するいくつかの遮蔽-ReID手法を上回りつつ、推論時にはアライメントを要求しない。
• 前景確率生成器は、再構成時に前景空間特徴の重みを高くすることで、遮蔽と背景の影響を効果的に低減する。
• FCNベースの空間特徴とピラミッドプーリングにより、異なる画像サイズやスケールに対しても手法は堅牢である。