[論文レビュー] Hetero-Center Loss for Cross-Modality Person Re-Identification

Yuanxin Zhu, Zhao Yang+4 more|arXiv (Cornell University)|Oct 22, 2019

Video Surveillance and Tracking Methods参考文献 42被引用数 10

ひとこと要約

本稿では、RGBおよび赤外モダリティ間のクラス内特徴ばらつきを最小化することで、クロスモダリティ・ペルソン再識別を向上させる、新しい損失関数であるHetero-Center Loss（HC損失）を提案する。クロスエントロピー損失と併用して最適化することで、クラス間の区別性とクラス内クロスモダリティ類似性が向上し、標準ベンチマークで最先端の性能を達成した。

ABSTRACT

Cross-modality person re-identification is a challenging problem which retrieves a given pedestrian image in RGB modality among all the gallery images in infrared modality. The task can address the limitation of RGB-based person Re-ID in dark environments. Existing researches mainly focus on enlarging inter-class differences of feature to solve the problem. However, few studies investigate improving intra-class cross-modality similarity, which is important for this issue. In this paper, we propose a novel loss function, called Hetero-Center loss (HC loss) to reduce the intra-class cross-modality variations. Specifically, HC loss can supervise the network learning the cross-modality invariant information by constraining the intra-class center distance between two heterogenous modalities. With the joint supervision of Cross-Entropy (CE) loss and HC loss, the network is trained to achieve two vital objectives, inter-class discrepancy and intra-class cross-modality similarity as much as possible. Besides, we propose a simple and high-performance network architecture to learn local feature representations for cross-modality person re-identification, which can be a baseline for future research. Extensive experiments indicate the effectiveness of the proposed methods, which outperform state-of-the-art methods by a wide margin.

研究の動機と目的

• ドメインシフトの影響を受けるにもかかわらず、同じ人物のRGBおよび赤外画像をマッチングするというクロスモダリティ・ペルソン再識別の課題に対処すること。
• 既存手法で十分に検討されていない、クラス内クロスモダリティ特徴ばらつきを低減すること。
• 異なるモダリティ間で同じ人物の特徴類似性を向上させつつ、クラス間の区別性を維持すること。
• 局所的クロスモダリティ不変特徴を学習するためのシンプルだが効果的なディープネットワークアーキテクチャを提案すること。

提案手法

• HC損失は、同じIDのRGBおよび赤外モダリティ間の中心埋め込み間の距離を最小化することを目的として設計されている。
• この損失関数は、異種モダリティ間のクラス内中心距離を明示的に制約し、クロスモダリティ不変性を促進する。
• クラス間分離とクラス内整合性のバランスを図るために、クロスエントロピー損失とHC損失の両方を併用してネットワークを訓練する。
• クロスモダリティマッチングに適した局所的判別特徴を抽出するために、軽量で高性能なバックボーンネットワークを導入する。
• 各IDの特徴中心は、それぞれのモダリティごとに別々に計算され、HC損失の監督ターゲットとして使用される。
• モダリティ固有の特徴表現を活用しながら、中心に基づく制約によって整合性を強制する。

実験結果

リサーチクエスチョン

• RQ1 クラス内クロスモダリティ特徴ばらつきを最小化することで、ペルソン再識別性能が向上するか？
• RQ2 中心に基づく損失関数は、同じIDのRGBおよび赤外埋め込みの整合性を図るのにどの程度有効か？
• RQ3 クロスエントロピー損失とHC損失を併用した最適化は、クロスエントロピー損失単体よりも一般化性能が向上するか？
• RQ4 HC損失を組み合わせたシンプルなネットワークアーキテクチャは、複雑なSOTAモデルを上回る性能を発揮できるか？

主な発見

• 提案されたHetero-Center Lossは、標準ベンチマーク上でクロスモダリティ・ペルソン再識別精度を顕著に向上させた。
• SYSU-Market100VおよびRegDBデータセットにおいて、先行SOTA手法を上回る最先端の性能を達成した。
• HC損失とクロスエントロピー損失を併用して訓練することで、クラス間分離性とクラス内整合性の両方が向上した。
• アブレーションスタディの結果、HC損失がクラス内クロスモダリティばらつきを効果的に低減していることが確認された。
• 提案されたネットワークアーキテクチャは、今後のクロスモダリティRe-ID研究における強力なベースラインを提供した。