[論文レビュー] Body Part-Based Representation Learning for Occluded Person Re-Identification

Vladimir Somers, Christophe De Vleeschouwer+1 more|arXiv (Cornell University)|Nov 7, 2022

Video Surveillance and Tracking Methods参考文献 48被引用数 13

ひとこと要約

この論文は、遮蔽された人物再識別における2つの主要な課題である、特徴的なローカル外観の欠如と人体トポロジーのアノテーション不足に取り組む、ボディパーツベースの表現学習フレームワークであるBPBreIDを提案する。非特徴的な局所的外観と遮蔽に対する耐性を高めるために、正確なパーツ局在化を実現する二重監督付きアテンションモジュールと、グローバルアイデンティティとローカルトリプレット監督を統合した新しいGiLt損失を導入し、Occluded-DukeでSOTAを更新する0.7%高いmAPと5.6%高いランク-1精度を達成した。

ABSTRACT

Occluded person re-identification (ReID) is a person retrieval task which aims at matching occluded person images with holistic ones. For addressing occluded ReID, part-based methods have been shown beneficial as they offer fine-grained information and are well suited to represent partially visible human bodies. However, training a part-based model is a challenging task for two reasons. Firstly, individual body part appearance is not as discriminative as global appearance (two distinct IDs might have the same local appearance), this means standard ReID training objectives using identity labels are not adapted to local feature learning. Secondly, ReID datasets are not provided with human topographical annotations. In this work, we propose BPBreID, a body part-based ReID model for solving the above issues. We first design two modules for predicting body part attention maps and producing body part-based features of the ReID target. We then propose GiLt, a novel training scheme for learning part-based representations that is robust to occlusions and non-discriminative local appearance. Extensive experiments on popular holistic and occluded datasets show the effectiveness of our proposed method, which outperforms state-of-the-art methods by 0.7% mAP and 5.6% rank-1 accuracy on the challenging Occluded-Duke dataset. Our code is available at https://github.com/VlSomers/bpbreid.

研究の動機と目的

• 個々のボディパーツが異なるアイデンティティ間で類似しているため、パーツベースのReIDにおいてローカル外観が特徴的でないという課題に対処する。
• ReIDデータセットにおける人体トポロジーのアノテーション不足を、外部の意味的情報を利用してアテンションマップの監督に活用することで克服する。
• 遮蔽や曖昧な局所的特徴がある中で、特徴的なパーツベース表現を効果的に学習するトレーニング方式を設計する。
• 細分化された可視パーツに特化した特徴比較を可能にすることで、遮蔽されたReIDにおけるパーツ間マッチングを向上させる。
• アテンションベースの特徴局在化と新しい損失関数を統合した包括的なフレームワークを構築し、耐障害性と正確性を向上させる。

提案手法

• アイデンティティラベルと粗い人体パースアノテーションの二重監督を用いて訓練されるボディパーツアテンションモジュールを提案し、ReIDに適したアテンションマップを生成する。
• グローバルおよび連結特徴に対してアイデンティティ損失を適用し、パーツベース特徴に対してはトリプレット損失を適用するGiLt（Global-identity Local-triplet）損失を導入し、特徴的な局所的表現を強化する。
• 可視性を考慮した重み付けを施した特徴集約戦略を用い、リtrieval段階で可視パーツを優先する。
• 二段階のトレーニングプロセスを採用する：第一段階では、パースラベルとアイデンティティの一貫性に基づくクロスエントロピー損失でアテンションモジュールを監督し、第二段階ではGiLt損失でフルモデルを最適化する。
• ソフトアテンションマップを用いてグローバル特徴マップに対して空間プーリングを実行し、空間的に整合性があり意味的に関連性のある局所的表現を抽出する。
• パーツ固有の分類ヘッドを備えたResNet-50バックボーンを用い、パーツに意識的な特徴のエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 局所的外観がアイデンティティ間で特徴的でない状況下で、どのようにパーツベースReIDモデルを効果的に訓練できるか？
• RQ2 真のパーツアノテーションが存在しない状況で、外部の人体意味的アノテーション（例：パースラベル）を効果的に活用してアテンションマップ学習を支援できるか？
• RQ3 遮蔽下でパーツベースReIDモデルを訓練する際、アイデンティティ損失とトリプレット損失の最適な組み合わせは何か？
• RQ4 背景の雑音や遮蔽に対して、パーツベース特徴とホリスティック特徴のどちらがより耐障害性が高いか？
• RQ5 パーツ特徴に対する直接的監督を避けるトレーニング方式は、遮蔽されたReIDシナリオにおける一般化性能を向上させられるか？

主な発見

• パーツベース特徴にのみトリプレット損失を適用し、グローバルおよび連結特徴にアイデンティティ損失を適用する本手法のGiLt損失が、損失の単純な組み合わせを上回る最高の性能を達成した。
• パーツベース特徴にアイデンティティ損失を単独で適用した場合、遮蔽への感受性と非特徴的な局所的特徴の影響により性能が低下し、専用損失の必要性を裏付けた。
• 二重監督付きアテンションモジュールを用いることで、アテンションマップの品質が著しく向上し、真のパーツアノテーションが存在しない状況でも、ポーズ推定出力よりも正確でReIDに適したパーツ局在化が可能になった。
• 特に上半身パーツからのパーツベース特徴は、頻繁に遮蔽される下半身パーツよりも特徴的であることが確認され、可視性を考慮した融合の重要性が裏付けられた。
• 可視性重み付き平均化を用いてすべてのパーツベース埋め込みを統合することで最高の性能が達成され、互いに可視であるパーツの共同モデリングが遮蔽されたReIDにおいて極めて重要であることが示された。
• Occluded-Dukeデータセットにおいて、BPBreIDは前回のSOTAを上回り、ランク-1精度が5.6%向上し、mAPが0.7%向上した。これは、困難な遮蔽シナリオにおいて本手法の有効性を確認するものである。