[論文レビュー] Parallel Augmentation and Dual Enhancement for Occluded Person Re-identification

Zi wang, Huaibo Huang+3 more|arXiv (Cornell University)|Oct 11, 2022

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

この論文では、並列増幅機構（PAM）と二重強化戦略（DES）を組み合わせた新しい手法PADEを提案する。PAMはデータの不均衡に対処するために、元画像、消去済み画像、クロップ済み画像の3枚組を並列に生成する。DESは、グローバルおよびローカル特徴を相互に強化する。PADEは、補助アノテーションやモデルを必要とせず、5つのRe-IDデータセットで最先端の性能を達成した。

ABSTRACT

Occluded person re-identification (Re-ID), the task of searching for the same person's images in occluded environments, has attracted lots of attention in the past decades. Recent approaches concentrate on improving performance on occluded data by data/feature augmentation or using extra models to predict occlusions. However, they ignore the imbalance problem in this task and can not fully utilize the information from the training data. To alleviate these two issues, we propose a simple yet effective method with Parallel Augmentation and Dual Enhancement (PADE), which is robust on both occluded and non-occluded data and does not require any auxiliary clues. First, we design a parallel augmentation mechanism (PAM) to generate more suitable occluded data to mitigate the negative effects of unbalanced data. Second, we propose the global and local dual enhancement strategy (DES) to promote the context information and details. Experimental results on three widely used occluded datasets and two non-occluded datasets validate the effectiveness of our method. The code is available at https://github.com/littleprince1121/PADE_Parallel_Augmentation_and_Dual_Enhancement_for_Occluded_Person_ReID

研究の動機と目的

• 遮蔽が訓練データではまれだがクエリでは一般的な遮蔽付き人物再識別において、訓練データとテストデータの不均衡を解消すること。
• 多様な拡張訓練サンプルを生成することで、遮蔽あり・遮蔽なしの両データに対してモデルの頑健性を向上させること。
• 特徴表現におけるグローバルコンテキストとローカルディテールを相互に強化することで、識別力を高めること。
• ポーズ、セグメンテーション、遮蔽予測用の追加アノテーションや事前学習モデルに依存しない、プラグアンドプレイ可能な手法を開発すること。

提案手法

• ベース増幅（リサイズ）、消去増幅（ランダムなオブジェクトマスキング）、クロップ増幅（不規則クロップ）を同時に適用し、[I_base, I_erased, I_cropped]という画像3枚組を生成する並列増幅機構（PAM）を提案する。
• すべての3枚の画像からグローバル特徴を抽出するために、パラメータを共有するViTベースのバックボーンを用いる。
• まずグローバルコンテキストを用いてローカル特徴を強化し、次に強化されたローカルディテールを用いてグローバル特徴を精緻化する二重強化戦略（DES）を実装する。
• 強化プロセスを2段階の順序で実行する：(1) グローバル特徴によってローカル特徴を強化し、(2) 強化されたローカル特徴を用いてグローバル特徴を精緻化する。
• PAMとDESをモジュラーかつ容易に埋め込めるようにすることで、既存のRe-IDモデルと互換性を保つ。
• 特徴の識別性能を最適化するために、エンタープライズのトリプレット対照損失を用いてモデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 多様な遮蔽あり・遮蔽なしの変種を並列に生成するデータ増幅戦略は、不均衡な遮蔽付きRe-IDデータに対してモデルの一般化性能を向上させることができるか？
• RQ2 グローバルコンテキストとローカルディテールの間で相互に強化を行うことで、独立した強化よりも優れた特徴表現が得られるか？
• RQ3 提案手法は、補助アノテーションや外部モデルに依存せずに最先端の性能を達成できるか？
• RQ4 実世界のシナリオで遮蔽度が高くなるほど、この手法はどれほど頑健か？

主な発見

• PADEは、3つの遮蔽ありおよび2つの遮蔽なしベンチマークを含む5つのRe-IDデータセットで最先端の性能を達成した。
• Occluded-Dukeデータセットでは、mAPが82.8%、Rank-1精度が91.3%に達し、以前の最先端手法を上回った。
• アブレーションスタディの結果、PAMとDESの両方が顕著な貢献をしていることが確認され、PAM単体でmAPが5.2%向上し、DESによりさらに3.0%向上した。
• DukeMTMC-reIDで遮蔽度を100%まで増加させたテストでも、PADEは62.2%のmAPと81.2%のRank-1精度を達成し、ViT base や TransReID より顕著に優れた性能を示した。
• OSNet、ViT base、TransReIDの各モデルにおいて、標準的な増幅をPAMに置き換えることで、一貫して性能向上が得られた。
• 本手法は予期しない遮蔽に対しても頑健であり、異なるデータセットやバックボーンアーキテクチャにわたって良好に一般化した。