[論文レビュー] Deep Spatial Feature Reconstruction for Partial Person Re-identification: Alignment-Free Approach

Lingxiao He, Jian Liang+2 more|arXiv (Cornell University)|Jan 3, 2018

Video Surveillance and Tracking Methods参考文献 26被引用数 48

ひとこと要約

DSRはFully Convolutional Networkを用いて固定サイズの空間特徴マップを生成し、プローブとギャラリーブロック間のスパース再構成を行うアライメントフリーの部分的人物再識別法を提案し、Partial REIDとPartial-iLIDSで強い結果を、Market1501でも競争力のある結果を達成する。

ABSTRACT

Partial person re-identification (re-id) is a challenging problem, where only several partial observations (images) of people are available for matching. However, few studies have provided flexible solutions to identifying a person in an image containing arbitrary part of the body. In this paper, we propose a fast and accurate matching method to address this problem. The proposed method leverages Fully Convolutional Network (FCN) to generate fix-sized spatial feature maps such that pixel-level features are consistent. To match a pair of person images of different sizes, a novel method called Deep Spatial feature Reconstruction (DSR) is further developed to avoid explicit alignment. Specifically, DSR exploits the reconstructing error from popular dictionary learning models to calculate the similarity between different spatial feature maps. In that way, we expect that the proposed FCN can decrease the similarity of coupled images from different persons and increase that from the same person. Experimental results on two partial person datasets demonstrate the efficiency and effectiveness of the proposed method in comparison with several state-of-the-art partial person re-id approaches. Additionally, DSR achieves competitive results on a benchmark person dataset Market1501 with 83.58\% Rank-1 accuracy.

研究の動機と目的

• Occlusionや視点変化により身体の一部のみが写る場合でも部分的な人物再識別を動機づける。
• 任意サイズの画像を扱える高速でアライメントフリーなマッチングフレームワークを開発する。
• 同一人物特徴が異なる人物特徴よりも再構成しやすくなるよう、深層学習とスパース再構成を統合する。
• スケール変動に対応するためマルチスケールブロック表現で頑健性を向上させる。

提案手法

• 任意サイズの入力から固定サイズの空間特徴マップを生成するFully Convolutional Network (FCN)を使用する。
• プローブとギャラリ―の特徴マップをブロックに分割し、各プローブブロックをギャラリーブロックからL1正則化を用いて再構成するスパース再構成問題を定式化する。
• 再構成に基づく類似度スコア d = (1/N) ||X - YW||F^2 を定義して、Wをスパース係数とすることでプローブとギャラリ―マップを比較する。
• 同一人物ペアには X - YW を最小化し、異なる人物ペアには最大化する識別損失（softmax/エントロピー損失）と検証信号を組み合わせてFCNをエンドツーエンドで訓練する。
• スケール変動に対して頑健性を向上させるため、(1x1, 2x2, 3x3)のマルチスケールブロック表現を導入し、効率のためにスケール間で特徴を共有する。
• 疎結合による表現を使用して、Wとθ（FCNパラメータ）を反復的に更新する交互最適化アルゴリズムを採用する（スパースコーディングステップとSGDベースの誤差逆伝播を含む）。

実験結果

リサーチクエスチョン

• RQ1 アライメント不要のパッチベースのマッチングフレームワークは、部分的な身体観察から個人を正確に同定できるか。
• RQ2 スパース再構成とFCN特徴を統合することで、部分遮蔽下で同一人物と異なる人物の識別能力を向上させられるか。
• RQ3 マルチスケールブロック表現は部分的な人物再識別におけるスケール変動の頑健性を向上させるか。
• RQ4 DSRはPartial REIDおよびPartial-iLIDSで既存の部分的な再識別手法と比較してどの程度の性能を示し、Market1501のような全体画像データセットではどうか。

主な発見

方法	Partial REID r=1	Partial REID r=3	Partial-iLIDS r=1	Partial-iLIDS r=3
Resizing model	19.33	32.67	21.85	36.97
SWM [32]	24.33	45.00	33.61	47.06
AMC [32]	33.33	46.00	46.78	64.75
AMC+SWM [32]	36.00	51.00	49.58	63.34
DSR (single-scale)	39.33	55.67	51.06	61.66
DSR (multi-scale)	43.00	60.33	54.58	64.50

• DSRは、Partial REIDとPartial-iLIDSの単射・多射設定のいずれにおいてもリサイズベースラインを上回る。
• 単一スケールのDSRはベースラインより高いrank-1精度を達成（例：Partial REID 39.33% vs 19.33%のリサイズ時、r=1）。マルチスケールDSRは結果をさらに改善（Partial REID 43.00%、Partial-iLIDS 60.33%）。
• マルチショット実験では、DSRは大幅な改善を達成（Partial REID：単一スケール49.33%、マルチスケール53.67%；Partial-iLIDS：54.67%、55.46% 各々、r=1）。
• マルチスケールブロックを用いたDSRは、Partial REIDとPartial-iLIDSの比較手法の中で最良の性能を示す（例：Partial-iLIDSのr=1で60.33%対55.67%、r=3で53.67%対49.58%のAMC+SWM）。
• Market1501の全体データでは、マルチスケールブロックを用いたDSRが83.58%のrank-1と64.25%のmAPを達成し、DSR特徴と組み合わせた場合に他のベースラインと比べて競争力が高い。