[論文レビュー] MMD-ReID: A Simple but Effective Solution for Visible-Thermal Person ReID

Chaitra Jambigi, Ruchit Rawal+1 more|ArXiv.org|Nov 9, 2021

Video Surveillance and Tracking Methods被引用数 8

ひとこと要約

MMD-ReID は、新しいマージンベースの最大平均差分（MMD）損失を用いて、可視画像と赤外画像の特徴間の分布差を明示的に最小化することで、可視-赤外人物再識別にシンプルかつ効果的なフレームワークを提案する。複雑なアーキテクチャや部位レベルの特徴に依存せず、SYSU-MM01 では Rank-1 精度を 5.07%、RegDB では 4% 向上させ、最先端性能を達成した。

ABSTRACT

Learning modality invariant features is central to the problem of Visible-Thermal cross-modal Person Reidentification (VT-ReID), where query and gallery images come from different modalities. Existing works implicitly align the modalities in pixel and feature spaces by either using adversarial learning or carefully designing feature extraction modules that heavily rely on domain knowledge. We propose a simple but effective framework, MMD-ReID, that reduces the modality gap by an explicit discrepancy reduction constraint. MMD-ReID takes inspiration from Maximum Mean Discrepancy (MMD), a widely used statistical tool for hypothesis testing that determines the distance between two distributions. MMD-ReID uses a novel margin-based formulation to match class-conditional feature distributions of visible and thermal samples to minimize intra-class distances while maintaining feature discriminability. MMD-ReID is a simple framework in terms of architecture and loss formulation. We conduct extensive experiments to demonstrate both qualitatively and quantitatively the effectiveness of MMD-ReID in aligning the marginal and class conditional distributions, thus learning both modality-independent and identity-consistent features. The proposed framework significantly outperforms the state-of-the-art methods on SYSU-MM01 and RegDB datasets. Code will be released at https://github.com/vcl-iisc/MMD-ReID

研究の動機と目的

• 可視画像と赤外画像の間の大きなモダリティギャップが人物再識別に与える課題に対処すること。
• 可視と赤外の特徴空間間の分布差を明示的に低減するシンプルで効果的な手法を開発すること。
• 敵対的学習や複雑なアーキテクチャモジュールに依存せずに、モダリティ不変かつアイデンティティ一貫性のある特徴学習を向上させること。
• 複数の最先端ベースラインとデータセットにわたる汎用性を示すこと。
• 既存の複雑な手法に比べて計算コストが低く、最小限の学習オーバーヘッドで実現できる代替手法を提供すること。

提案手法

• フレームワークは、可視画像と赤外画像からグローバル特徴を抽出するために二重ストリームのシアンプソンネットワークアーキテクチャを採用する。
• 可視と赤外のサンプルのクラス条件付き特徴分布間の差を明示的に最小化する、新しいマージン MMD-ID 損失を導入する。
• 損失関数は、分布距離を測定する統計的手法である最大平均差分（MMD）に基づき、過学習や特徴劣化を防ぐためにマージン制約を設けている。
• 部位レベルやアテンションベースのモジュールを必要とせず、グローバル特徴のみに依存して動作する。
• 標準的な ReID 損失関数（交差エントロピー、トリプレット損失など）と互換性があり、既存のベースラインに簡単に統合可能である。
• 学習プロセスには、クラス内とクラス間の分布の分離を制御するマージンハイパーパrameter（ρ）が含まれており、識別能を向上させている。

実験結果

リサーチクエスチョン

• RQ1 MMD を用いた明示的な分布差の低減は、クロスモダリティ人物再識別性能の向上に寄与するか？
• RQ2 標準的な MMD と比較して、マージンベースの MMD 形式は VT-ReID における過学習や特徴劣化を緩和するか？
• RQ3 部位レベルやアテンションベースのモジュールを備えた複雑なアーキテクチャを上回る、シンプルなグローバル特徴ベースの手法は VT-ReID で有効か？
• RQ4 MMD-ReID は、標準ベンチマーク上での複数の最先端 ReID ベースラインにどのように汎用性を示すか？
• RQ5 標準的なトリプレット損失および交差エントロピー損失と比較して、提案されたマージン MMD-ID 損失の計算コストと学習効率はいかがなっているか？

主な発見

• SYSU-MM01 データセットでは MMD-ReID が Rank-1 精度 88.4% を達成し、前回の最先端手法を 5.07% 上回った。
• RegDB データセットでは MMD-ReID が Rank-1 精度 78.6% を達成し、前回の SOTA を 4% 上回った。
• T-SNE 視覚化では、MMD-ReID が同じアイデンティティの可視および赤外特徴を特徴空間内でより近づけ、コン pact で重複するクラスタを形成していることが示された。
• AGW、DGTL、HcTri の3つの異なる最先端ベースラインに統合しても、競争力ある性能を維持しており、優れた汎用性を示した。
• 学習時間は標準的な交差エントロピー損失および交差エントロピー + Hc-Tri ベースラインと比較して、約1時間のわずかな増加にとどまり、計算オーバーヘッドが最小限であることが示された。
• アブレーションスタディにより、標準的な MMD-ID よりもマージンベースの MMD-ID 損失が特徴劣化の防止と一般化性能の向上に優れていることが確認された。