[論文レビュー] Occluded Person Re-identification

Jiaxuan Zhuo, Zeyu Chen+2 more|arXiv (Cornell University)|Apr 9, 2018

Video Surveillance and Tracking Methods参考文献 9被引用数 13

ひとこと要約

本論文は監視環境における新規問題として、部分的遮蔽されたプローブ画像から全身人物画像を検索する遮蔽付き人物再識別（re-id）を導入する。AFPB（人物ボディの注意枠組み）を提案し、人工的遮蔽を生成する遮蔽シミュレータと、識別 + 遮蔽分類のマルチタスク損失を用いて、頑健で注意駆動型の特徴を学習する。新規および改変されたベンチマークで最先端の性能を達成した。

ABSTRACT

Person re-identification (re-id) suffers from a serious occlusion problem when applied to crowded public places. In this paper, we propose to retrieve a full-body person image by using a person image with occlusions. This differs significantly from the conventional person re-id problem where it is assumed that person images are detected without any occlusion. We thus call this new problem the occluded person re-identitification. To address this new problem, we propose a novel Attention Framework of Person Body (AFPB) based on deep learning, consisting of 1) an Occlusion Simulator (OS) which automatically generates artificial occlusions for full-body person images, and 2) multi-task losses that force the neural network not only to discriminate a person's identity but also to determine whether a sample is from the occluded data distribution or the full-body data distribution. Experiments on a new occluded person re-id dataset and three existing benchmarks modified to include full-body person images and occluded person images show the superiority of the proposed method.

研究の動機と目的

• 空港やモールのような実際の混雑した環境における重度の遮蔽下での人物再識別の重要な課題に対処すること。
• 部分的遮蔽されたプローブ画像から全身画像を検索することを目的とする、遮蔽付き人物再識別という新しい問題定式化を提案すること。
• 遮蔽再識別のための公開データセットと頑健なモデルの不足を補うために、新規データセットと新規ディーブラーニングフレームワークを構築すること。
• 合成データと補助的監視を通じて遮蔽の事前知識を統合することで、特徴の頑健性を向上させること。

提案手法

• 人物ボディの注意枠組み（AFPB）は、遮蔽シミュレータ（OS）を用い、全身画像に背景パッチをランダムに追加することで、自動的に人工的遮蔽付き人物画像を生成する。
• OSは、色・サイズ・形状・位置の異なる多様な実際の遮蔽パターンを模倣する、多様な人工的遮蔽セットを生成する。
• AFPBは、識別分類損失と遮蔽／非遮蔽二値分類（OBC）損失を組み合わせた、マルチタスク学習を用いたCNNにより、全身画像と人工的遮蔽画像を同時に符号化する。
• OBC損失は、遮蔽あり・なしのサンプルを区別する補助的タスクとして機能し、ネットワークが人物ボディに注目するよう間接的に促進する。
• SGDを用いたバックプロパゲーションによるエンドツーエンド学習が可能で、Caffeなどの標準的なディープラーニングライブラリで実装可能である。
• 注目メカニズムは、多様な人工的遮蔽パターンを観察することで、ネットワークが判別性の高いボディパーツに焦点を当てるよう学習するに従い、自然に出現する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングフレームワークは、実際の監視環境における部分的遮蔽プローブから全身人物画像を効果的に検索できるか？
• RQ2 人工的遮蔽データは、さまざまな遮蔽条件下での人物再識別における特徴の頑健性をどのように向上させるか？
• RQ3 識別認識と遮蔽検出を同時に学習することの再識別性能に与える影響は何か？
• RQ4 遮蔽分類を含むマルチタスク損失戦略は、一般化性能と重要なボディパーツへの注目を向上させられるか？

主な発見

• AFPBフレームワークは新たに作成されたOccluded-REIDデータセットで最先端の性能を達成し、シングルショット評価で68.14%のランク1正答率、マルチショット評価で94.00%を記録した。
• Partial-REIDベンチマークでは78.52%のランク1正答率を達成し、ResNet-50を9.30ポイント上回った。
• Occluded-REIDにおいて、OBC損失の統合により、識別のみの損失を用いたResNet-50と比較して、ランク1正答率が4.29%向上した。
• アブレーションスタディの結果、OBC損失は非常に有効であり、最適な性能は、トレードオフハイパーパrameter α が 0.7 から 0.9 の間で達成された。
• サリエンシーマップ解析により、AFPBは判別性の高いボディ領域をよりよく局在化していることが確認され、Occluded-REIDではサリエンシーディテクション精度が6.22%向上（AFPB：83.48%、ResNet-50：77.26%）。
• P-ETHZおよびP-DukeMTMC-reIDでは、それぞれ58.15%および46.15%のランク1正答率を達成し、ベースラインのResNet-50および先行の最先端手法を著しく上回った。