[論文レビュー] Identity-Guided Human Semantic Parsing for Person Re-Identification

Kuan Zhu, Haiyun Guo+3 more|arXiv (Cornell University)|Jul 27, 2020

Video Surveillance and Tracking Methods参考文献 33被引用数 36

ひとこと要約

ISPはアイデンティティ指向の階層型クラスタリングを用いてピクセルレベルのパーツ（個人所持品を含む）を学習し、追加の意味的監督なしで Occlusion に頑健で整合性を要求しない再識別を実現する。

ABSTRACT

Existing alignment-based methods have to employ the pretrained human parsing models to achieve the pixel-level alignment, and cannot identify the personal belongings (e.g., backpacks and reticule) which are crucial to person re-ID. In this paper, we propose the identity-guided human semantic parsing approach (ISP) to locate both the human body parts and personal belongings at pixel-level for aligned person re-ID only with person identity labels. We design the cascaded clustering on feature maps to generate the pseudo-labels of human parts. Specifically, for the pixels of all images of a person, we first group them to foreground or background and then group the foreground pixels to human parts. The cluster assignments are subsequently used as pseudo-labels of human parts to supervise the part estimation and ISP iteratively learns the feature maps and groups them. Finally, local features of both human body parts and personal belongings are obtained according to the selflearned part estimation, and only features of visible parts are utilized for the retrieval. Extensive experiments on three widely used datasets validate the superiority of ISP over lots of state-of-the-art methods. Our code is available at https://github.com/CASIA-IVA-Lab/ISP-reID.

研究の動機と目的

• Pre-trained parsing models に依存せず、人物再識別のミスアラインメントを動機付けて対処する。
• ピクセルレベルの身体部位と個人所持品を学習するための弱教師付き、アイデンティティ指向の方法を導入する。
• 可視パーツを特定し、マッチング時には遮蔽区域を除外することで Occlusion に頑健な整列を可能にする。
• 複数の holistic および occluded 再識別ベンチマークで最先端の性能を示す。

提案手法

• バックボーン特徴マップ上で階層的クラスタリングを発展させ、身体部位（ belongings を含む） の疑似ラベルを生成する。
• グローバル特徴マップからピクセル単位の活性化を算出し、前景/背景を分離し、同一アイデンティティの全画像間で前景ピクセルをクラスタリングする。
• 疑似ラベルとパーツ認識プーリングを用いてパーツ表現を反復的に洗練し、身体部位と belongings の局所特徴を得る。
• _probe-_gallery ペアで共有・可視パーツのみを用いたパーツレベルのマッチングを構築し、グローバルおよび前景特徴を補強する。
• パーツ、前景、グローバル表現のトリプレット損失とラベルスムージングを組み合わせたクロスエントロピー、さらに弱教師付き parsing 損失で訓練する。

実験結果

リサーチクエスチョン

• RQ1 アイデンティティ指向のピクセルレベルパーツ parsing は、追加の意味的監督なしに身体部位と個人所持品の両方を検出できるか？
• RQ2 Occlusion-aware なパーツレベルマッチングは、領域ベースやアテンションベースの手法と比較して再識別性能を向上させるか？
• RQ3 クラスタリング中心数（K）が再識別性能と parsing 品質にどう影響するか？
• RQ4 学習されたセマンティック parsing はデータセットを跨いで Occlusion と misalignment に対して頑健か？

主な発見

• ISP は DukeMTMC-reID で Rank-1 89.6、Rank-5 95.5、mAP 80.0 の最先端結果を達成。
• Market-1501 では Rank-1 95.3、Rank-5 98.6、mAP 88.6。
• CUHK03-NP では Rank-1 76.5、mAP 74.1。
• Occluded-DukeMTMC では Rank-1 62.8、Rank-5 78.1、Rank-10 82.9、mAP 52.3、新たな最先端を達成。
• K が {4,5,6,7,8} の場合のアブレーションは頑健性を示し、K=7 付近でピーク、学習されたセマンティック parsing はデータセット間の追加的な意味近似より上回る。
• ISP は可視パーツを明示的に識別し、マッチング時に遮蔽区域を除外することを示し、ベースラインやいくつかの従来法より有意な改善をもたらす。