[論文レビュー] A Similarity Inference Metric for RGB-Infrared Cross-Modality Person Re-identification

Mengxi Jia, Yunpeng Zhai+3 more|arXiv (Cornell University)|Jul 3, 2020

Video Surveillance and Tracking Methods参考文献 16被引用数 8

ひとこと要約

本稿では、RGB赤外線クロスモダリティ人物再識別のための類似度推論指標（SIM）を提案する。この手法は、同じモダリティ内でのサンプル類似度を活用することで、クロスモダリティマッチングを向上させる。類似度グラフ推論（SGR）と相互最近傍推論（MNNR）を組み合わせることで、追加の訓練を最小限に抑えながらマッチング精度を向上させ、SYSU-MM01およびRegDBデータセットにおいてベースライン比でmAPが20.98%向上、rank-1精度が3.00%向上を達成した。

ABSTRACT

RGB-Infrared (IR) cross-modality person re-identification (re-ID), which aims to search an IR image in RGB gallery or vice versa, is a challenging task due to the large discrepancy between IR and RGB modalities. Existing methods address this challenge typically by aligning feature distributions or image styles across modalities, whereas the very useful similarities among gallery samples of the same modality (i.e. intra-modality sample similarities) is largely neglected. This paper presents a novel similarity inference metric (SIM) that exploits the intra-modality sample similarities to circumvent the cross-modality discrepancy targeting optimal cross-modality image matching. SIM works by successive similarity graph reasoning and mutual nearest-neighbor reasoning that mine cross-modality sample similarities by leveraging intra-modality sample similarities from two different perspectives. Extensive experiments over two cross-modality re-ID datasets (SYSU-MM01 and RegDB) show that SIM achieves significant accuracy improvement but with little extra training as compared with the state-of-the-art.

研究の動機と目的

• 人物再識別におけるRGB画像と赤外線画像の間の大きなモダリティ差を解消する挑戦に応える。
• 既存手法がクロスモダリティアライメントに注力する一方で、判別性の高いモダリティ内サンプル類似度を無視するという限界を克服する。
• 大規模な再訓練を必要とせず、信頼性の高いモダリティ内類似度を活用することでクロスモダリティマッチングを向上させる汎用的指標を開発する。
• 標準的なRGB赤外線データセット上で、複数の最先端の再識別モデルに対して一貫した性能向上を実証する。

提案手法

• 同じモダリティ内の類似度を活用して、クロスモダリティサンプル類似度を推論する類似度推論指標（SIM）を提案する。
• グラフの最短経路を用いてギャラリーのサンプル間の関係をモデル化する類似度グラフ推論（SGR）を導入し、類似度推論を強化する。
• 画像ペア間のk近傍近傍集合の重複を活用して類似度推定を向上させる相互最近傍推論（MNNR）を設計する。
• SGRとMNNRを段階的に組み合わせることで、順次的にクロスモダリティ類似度予測を精緻化する。
• 既存の再識別フレームワークにSIMをプラグインモジュールとして統合し、ベースモデルの追加訓練を除き、最小限の適合のみを要する。
• スケール係数λ、リミット係数K、ペナルティ係数αを有するパラメータ化された類似度統合メカニズムを用いて、SGRとMNNRの寄与をバランスさせる。

実験結果

リサーチクエスチョン

• RQ1 モダリティ内サンプル類似度を効果的に活用することで、クロスモダリティ人物再識別を向上させることができるか？
• RQ2 類似度グラフ推論と相互最近傍推論は、個別および統合的にどのようにクロスモダリティマッチングを向上させるか？
• RQ3 再訓練を伴わず、異なる再識別モデルに一般化できる程度はどの程度か？
• RQ4 どのハイパーパrameter設定がクロスモダリティ再識別ベンチマークにおけるSIMの性能を最適化するか？
• RQ5 類似度がクエリとは異なるが真のマッチと類似するハードポジティブサンプルのランク付けをSIMは改善するか？

主な発見

• SYSU-MM01データセットでは、ベースライン比でmAPが20.98%相対的に向上（60.88%に達成）、rank-1精度が3.00%向上（56.93%に達成）した。
• RegDBデータセットでは、ベースライン比でmAPが14.49%向上、rank-1精度が2.37%向上した。
• SGRとMNNRの組み合わせは、単体での性能を上回り、類似度推論の向上において相補的な性質を示した。
• SIMは異なる再識別モデルに効果的に一般化可能である：AlignGANおよびAGWに適用した場合、mAPはそれぞれ最大22.94%および17.44%向上した。
• 最適なハイパーパrameterはλ = 0.01、K = 9、α = 0.3と特定され、類似度推定における感受性と判別力のバランスをとれた。
• 可視化結果から、SIMはベースラインで順位が低かった真のポジティブマッチの類似度スコアを効果的に上昇させており、特にハードポジティブサンプルに対して顕著であった。