[論文レビュー] Attend to the Difference: Cross-Modality Person Re-identification via Contrastive Correlation

Shizhou Zhang, Yifei Yang+4 more|arXiv (Cornell University)|Oct 25, 2019

Video Surveillance and Tracking Methods参考文献 31被引用数 16

ひとこと要約

本稿では、3次元テンソル共通空間を用いて空間構造を保持するとともに、パラメータフリーの対照的相関ネットワーク（CCN）を用いてRGBと赤外画像ペア間の差異に動的に注目することで、識別性を向上させる二重パスフレームワークを提案する。この手法は、SYSU-MM01およびRegDBデータセットにおいて、フル評価モードおよび簡略化評価モードの両方で、先行手法を顕著に上回る最先端の性能を達成した。

ABSTRACT

The problem of cross-modality person re-identification has been receiving increasing attention recently, due to its practical significance. Motivated by the fact that human usually attend to the difference when they compare two similar objects, we propose a dual-path cross-modality feature learning framework which preserves intrinsic spatial strictures and attends to the difference of input cross-modality image pairs. Our framework is composed by two main components: a Dual-path Spatial-structure-preserving Common Space Network (DSCSN) and a Contrastive Correlation Network (CCN). The former embeds cross-modality images into a common 3D tensor space without losing spatial structures, while the latter extracts contrastive features by dynamically comparing input image pairs. Note that the representations generated for the input RGB and Infrared images are mutually dependant to each other. We conduct extensive experiments on two public available RGB-IR ReID datasets, SYSU-MM01 and RegDB, and our proposed method outperforms state-of-the-art algorithms by a large margin with both full and simplified evaluation modes.

研究の動機と目的

• 変動する照明条件やセンサ条件下におけるRGB赤外人物再識別におけるモダリティ間差違えの課題に対処すること。
• 従来の1次元ベクトルベースの共通空間手法では失われる特徴表現における空間構造を保持すること。
• ペアドされたRGBおよび赤外画像間の意味的差異に動的に注目することで識別性を向上させること。
• 対照的相関のためのパラメータフリーなカーネル生成器を開発し、画像間比較によって特徴表現を強化すること。
• 公開のRGB-IR ReIDベンチマークにおいて、フルおよび簡略化評価モードの両方で最先端の性能を達成すること。

提案手法

• 二重パス空間構造保持共通空間ネットワーク（DSCSN）は、RGBおよび赤外画像を3次元テンソルベースの共通特徴空間に埋め込むことで、空間構造を保持する。
• 対照的相関ネットワーク（CCN）は、個別化された特徴マップから動的カーネルを生成し、入力画像ペア間の差異を強調する。
• カーネル生成器はパラメータフリーであり、各モダリティからの個別化カーネルの差異に基づいて対照的カーネルを計算する。
• 特徴表現はお互いに依存関係にあり、クエリに従う動的特徴学習が可能となる。ここで各画像の表現はペア内のもう一方の画像に依存する。
• ペairワイズバイナリクロスエントロピー（BCE）とアイデンティティ（ID）損失を組み合わせたジョイント損失を用いて、エンドツーエンドで訓練する。
• 本手法は、フルおよび簡略化推論モードをサポートしており、後者は精度を損なわずに効率性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 1次元ベクトルベースの手法と比較して、3次元テンソル共通空間における空間構造の保持は、RGB-赤外人物再識別性能の向上に寄与するか？
• RQ2 RGBと赤外画像ペア間の差異に動的に注目することは、ReIDにおける特徴の識別性を向上させるか？
• RQ3 追加のトレーナブルパラメータを必要としないパラメータフリーなカーネル生成器は、対照的相関特徴を学習する上で効果的か？
• RQ4 提案フレームワークは、ギャラリーに同一モダリティの画像のみが含まれるオープンセットのシナリオにも一般化可能か？
• RQ5 ジョイント学習目的関数におけるBCEとID損失をバランスさせる最適なトレードオフハイパーパrameter（λ）は何か？

主な発見

• SYSU-MM01データセットでは、フル評価モード下でCMC-1が33.4%、mAPが37.2%を達成し、先行SOTA手法を上回った。
• RegDBデータセットでは、フル評価モード下でCMC-1が53.1%、mAPが53.5%を達成し、異なるデータセット間でも強い汎化性能を示した。
• 最適なハイパーパrameter λ = 0.1 が最良の性能をもたらし、SYSU-MM01ではCMC-1が33.4%、mAPが37.2%を達成した。これは損失間の安定的かつ強固なトレードオフを示している。
• オープンセットプロトコルでは、SYSU-MM01でCMC-1が78.2%、mAPが65.3%を達成し、混合モダリティギャラリーを含む実世界シナリオにおける強力なロバストネスを示した。
• 可視化による定性的な分析から、対照的特徴マップが、性別やボディシェイプの異なる画像に対してより強く反応することが確認された。
• 失敗事例の主な原因は、バッグを携行するなど、身長や体型の変化による外見の変化であり、モデルがこのような非アイデンティティ関連の変化に敏感であることが示された。