[論文レビュー] PartMix: Regularization Strategy to Learn Part Discovery for Visible-Infrared Person Re-identification

Minsu Kim, Seungryong Kim+3 more|arXiv (Cornell University)|Apr 4, 2023

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本稿では、可視赤外線人物再識別（VI-ReID）のための新しいデータ拡張技術であるPartMixを提案する。PartMixは、異なるモodal間で部位記述子を混合することで、部位に注意を払った拡張サンプルを合成する。同一および異なったアイデンティティ内でポジティブおよびネガティブサンプルを生成し、エントロピーに基づくマイニングを用いた対照的学習を適用することで、一般化性能が著しく向上し、SYSU-MM01およびRegDBベンチマークで最先端の性能を達成する。

ABSTRACT

Modern data augmentation using a mixture-based technique can regularize the models from overfitting to the training data in various computer vision applications, but a proper data augmentation technique tailored for the part-based Visible-Infrared person Re-IDentification (VI-ReID) models remains unexplored. In this paper, we present a novel data augmentation technique, dubbed PartMix, that synthesizes the augmented samples by mixing the part descriptors across the modalities to improve the performance of part-based VI-ReID models. Especially, we synthesize the positive and negative samples within the same and across different identities and regularize the backbone model through contrastive learning. In addition, we also present an entropy-based mining strategy to weaken the adverse impact of unreliable positive and negative samples. When incorporated into existing part-based VI-ReID model, PartMix consistently boosts the performance. We conduct experiments to demonstrate the effectiveness of our PartMix over the existing VI-ReID methods and provide ablation studies.

研究の動機と目的

• 部分ベースの可視赤外線人物Re-IDにおける過学習とモダリティ特有のバイアスを軽減するため、特化したデータ拡張戦略を導入すること。
• モダリティ間およびモダリティ内での記述子の混合により、多様で部位に注意を払った拡張サンプルを合成することで一般化性能を向上させること。
• エントロピーに基づくマイニング戦略により、対照的学習における信頼性の低いポジティブおよびネガティブサンプルの悪影響を低減すること。
• 部分ベースのVI-ReIDモデルにおける特徴の整合性向上とモダリティ不変表現学習を強化すること。
• アーキテクチャの変更なしに、効果的な正則化により、標準的なVI-ReIDベンチマークで最先端の性能を達成すること。

提案手法

• PartMixは、異なるアイデンティティおよび同一アイデンティティの可視および赤外線画像からの部位記述子を混合することで、拡張サンプルを生成する。
• 混合された部位記述子を用いてポジティブおよびネガティブサンプルを生成し、頑健な特徴学習を促進する。
• 合成されたポジティブおよびネガティブペアを用いて、バックボーンモデルの正則化に対照的学習を適用する。
• エントロピーに基づくマイニング戦略により、信頼性の高いポジティブおよびネガティブサンプルを選択し、ノイズを低減し、学習の安定性を向上させる。
• アーキテクチャの変更なしに、既存の部分ベースVI-ReIDモデルに統合可能であり、一般化性能の向上に寄与する。
• アブレーションスタディを含め、SYSU-MM01およびRegDBデータセット上でエンドツーエンドで評価される。

(a) MixUp [ 71 ]

実験結果

リサーチクエスチョン

• RQ1 可視および赤外線モダリティ間で部位記述子を混合することで、人物再識別における一般化性能が向上するか？
• RQ2 MixUp や CutMix といったグローバルおよびローカル画像混合手法と比較して、PartMixは部分ベースVI-ReIDにおいてどのように性能を発揮するか？
• RQ3 エントロピーに基づくマイニングは、VI-ReIDにおける対照的学習のポジティブおよびネガティブサンプルの信頼性をどの程度向上させるか？
• RQ4 PartMixは、部分ベースReIDモデルにおける特定の身体部位やモダリティへの過学習を効果的に低減するか？
• RQ5 PartMixは、アーキテクチャの変更なしに、標準的なVI-ReIDベンチマークで最先端の性能を達成できるか？

主な発見

• SYSU-MM01データセットのシングルショットオールサーチモードにおいて、PartMixはRank-1が77.78%、mAPが74.62%を達成し、以前のSOTAであるMSCLNetをRank-1で0.79%、mAPで2.98%上回る。
• SYSU-MM01のインDoorサーチモードでは、PartMixはMSCLNet比でRank-1が3.03%、mAPが3.21%向上する。
• RegDBでは、赤外線から可視へのモードで、PartMixはRank-1が84.93%、mAPが82.52%を達成し、MSCLNetをRank-1で1.07%、mAPで4.21%上回る。
• RegDBの可視から赤外線へのモードでは、PartMixはRank-1が85.66%、mAPが82.27%を達成し、MSCLNetをRank-1で1.49%、mAPで1.28%上回る。
• PartMixは、MixUp、Manifold MixUp、CutMixを著しく上回り、SYSU-MM01のマルチショットオールサーチモードではCutMix比でmAPが5.08%向上する。
• アブレーションスタディにより、部位記述子の混合戦略およびエントロピーに基づくマイニング部の有効性が確認される。

(b) CutMix [ 70 ]