[論文レビュー] Homogeneous and Heterogeneous Relational Graph for Visible-infrared Person Re-identification

Yujian Feng, Feng Chen+5 more|arXiv (Cornell University)|Sep 18, 2021

Video Surveillance and Tracking Methods参考文献 31被引用数 7

ひとこと要約

本稿では、可視・赤外線画像間の同種（可視または赤外線画像内）の関係と異種（可視・赤外線特徴間）の相関を両方モデル化する、グラフベースの新規フレームワークを提案する。グローバルなアイデンティティ表現のための同種構造グラフ（HOSG）と、ルート探索を用いた異種グラフアライメントモジュール（HGAM）に加え、モダリティ不変性を強化するための異種モダリティ相互相関（CMCC）損失を導入することで、SYSU-MM01およびRegDBデータセットにおいて、それぞれRank-1とmAPで13.73%および9.45%の向上を達成し、最先端性能を実現した。

ABSTRACT

Visible-infrared person re-identification (VI Re-ID) aims to match person images between the visible and infrared modalities. Existing VI Re-ID methods mainly focus on extracting homogeneous structural relationships in an image, i.e. the relations between local features, while ignoring the heterogeneous correlation of local features in different modalities. The heterogeneous structured relationship is crucial to learn effective identity representations and perform cross-modality matching. In this paper, we model the homogenous structural relationship by a modality-specific graph within individual modality and then mine the heterogeneous structural correlation with the modality-specific graph of visible and infrared modality. First, the homogeneous structured graph (HOSG) mines one-vs.-rest relation between an arbitrary node (local feature) and all the rest nodes within a visible or infrared image to learn effective identity representation. Second, to find cross-modality identity-consistent correspondence, the heterogeneous graph alignment module (HGAM) further measures the relational edge strength between local node features of two modalities with routing search way. Third, we propose the cross-modality cross-correlation (CMCC) loss to extract the modality invariance of feature representations of visible and infrared graphs. CMCC computes the mutual information between modalities and expels semantic redundancy. Extensive experiments on SYSU-MM01 and RegDB datasets demonstrate that our method outperforms state-of-the-arts with a gain of 13.73\% and 9.45\% Rank1/mAP. The code is available at https://github.com/fegnyujian/Homogeneous-and-Heterogeneous-Relational-Graph.

研究の動機と目的

• 既存の可視・赤外線再識別手法が可視または赤外線画像内での同種（homogeneous）関係にのみ注目している一方で、可視・赤外線特徴間の異種（heterogeneous）相関を無視しているという限界に対処すること。
• 各モダリティ内での局所特徴間の一対多関係を同種構造グラフ（HOSG）を用いてモデル化することで、アイデンティティ表現の向上を図ること。
• 可視・赤外線特徴間のノード対ノード対応関係として最も判別性の高いものを特定するルート探索ベースの異種グラフアライメントモジュール（HGAM）を用いて、効果的な異種モダリティアライメントを実現すること。
• 可視・赤外線間の相互情報量を最大化するように設計された異種モダリティ相互相関（CMCC）損失を用いて、モダリティ固有の冗長性を低減し、モダリティ不変表現を強化すること。

提案手法

• HOSGは、各モダリティ（可視または赤外線）内において、各局所特徴ノードが他のすべてのノードと一対多集約によって関係をモデル化することで、グラフを構築し、グローバルなアイデンティティ表現を強化する。
• HGAMはルート探索アルゴリズムを用いて、異なるモダリティのノード間の最小エネルギー経路を計算し、すべての可能なエッジを評価するのではなく、最も判別性の高い異種モダリティ対応関係を特定する。
• CMCC損失は、可視および赤外線特徴表現間の相互情報量を最大化するように設計されており、モダリティ不変性を促進し、意味的冗長性を低減する。
• 全体的なフレームワークは、HOSG、HGAM、およびCMCC損失をエンドツーエンドで統合し、ResNet-50をバックボーンとして用い、統合損失目的関数に基づいて学習される。
• 同種および異種関係を表す2N×2Nの隣接行列を用いるが、顕著でエネルギーが最小化された経路に焦点を当てることで計算を最適化する。
• 本手法は、標準的な可視・赤外線再識別ベンチマーク（SYSU-MM01およびRegDB）で訓練および評価され、アブレーションスタディおよびt-SNE可視化を通じて設計選択の妥当性が検証される。

実験結果

リサーチクエスチョン

• RQ1 可視および赤外線画像内でのモダリティ内構造的関係を効果的にモデル化することで、可視・赤外線再識別におけるアイデンティティ表現をどのように向上させられるか？
• RQ2 可視および赤外線モダリティ間の局所特徴を効果的にアライメントする最良の方法は何か？ これは、アイデンティティの一貫性を持つ対応関係を確立するためである。
• RQ3 ルート探索ベースの手法は、全エッジの計算に比べて、効率性および判別性能の面で優れていると言えるか？
• RQ4 専用損失を用いてモダリティ間の相互情報量を最大化することで、特徴の不変性がどの程度向上し、冗長性が低減されるか？
• RQ5 HOSG、HGAM、CMCCの各モジュールが、異種モダリティ人間再識別における全体的な性能向上にどの程度寄与しているか？

主な発見

• 提案手法は、SYSU-MM01データセットでRank-1が94.92%、mAPが94.58%を達成し、以前の最先端手法よりRank-1で13.73%、mAPで9.45%の向上を示した。
• HOSGモジュール単体でも、SYSU-MM01のすべての探索モードにおいて、ベースライン比でRank-1が10.32%、mAPが8.96%向上した。
• HGAMモジュールが最も大きな性能向上をもたらし、屋内探索モードにおいてRank-1が13.94%、mAPが9.89%向上した。これは、異種モダリティアライメントにおける有効性を示している。
• CMCC損失は屋内探索モードでRank-1を12.00%、mAPを9.65%向上させ、モダリティ不変性の強化とノイズ低減におけるその役割を確認した。
• t-SNE可視化により、提案手法は同じアイデンティティの特徴をより密にクラスタリングし、異なるアイデンティティの特徴をより明確に分離していることが確認された。
• ハイパーパramータ分析により、最適なパフォーマンスはα = 0.05およびγ = 1.0で得られ、さまざまな設定で一貫した向上が確認された。これにより、本手法のロバスト性が裏付けられた。