[論文レビュー] Memory Regulation and Alignment toward Generalizer RGB-Infrared Person

Feng Chen, Fei Wu+2 more|arXiv (Cornell University)|Sep 18, 2021

Video Surveillance and Tracking Methods参考文献 36被引用数 5

ひとこと要約

本稿では、RGB-赤外人物再識別におけるドメインシフトを解消するために、学習済みクラス特徴におけるモデルの過信を軽減することを目的とした、マルチスケールメモリ制御とアライメント（MG-MRA）モジュールを提案する。複数の意味的スケールにおける学習可能でグローバルな構造的プロトタイプを統合し、メモリ確率を介して注意を制御することで、ゼロショット一般化性能が向上し、RegDBおよびSYSU-MM01で最先端の性能を達成する。ハイパーパramータ設定にかかわらず一貫した向上効果を示す。

ABSTRACT

The domain shift, coming from unneglectable modality gap and non-overlapped identity classes between training and test sets, is a major issue of RGB-Infrared person re-identification. A key to tackle the inherent issue -- domain shift -- is to enforce the data distributions of the two domains to be similar. However, RGB-IR ReID always demands discriminative features, leading to over-rely feature sensitivity of seen classes, extit{e.g.}, via attention-based feature alignment or metric learning. Therefore, predicting the unseen query category from predefined training classes may not be accurate and leads to a sub-optimal adversarial gradient. In this paper, we uncover it in a more explainable way and propose a novel multi-granularity memory regulation and alignment module (MG-MRA) to solve this issue. By explicitly incorporating a latent variable attribute, from fine-grained to coarse semantic granularity, into intermediate features, our method could alleviate the over-confidence of the model about discriminative features of seen classes. Moreover, instead of matching discriminative features by traversing nearest neighbor, sparse attributes, extit{i.e.}, global structural pattern, are recollected with respect to features and assigned to measure pair-wise image similarity in hashing. Extensive experiments on RegDB \cite{RegDB} and SYSU-MM01 \cite{SYSU} show the superiority of the proposed method that outperforms existing state-of-the-art methods. Our code is available in https://github.com/Chenfeng1271/MGMRA.

研究の動機と目的

• モダリティギャップおよび未知のアイデンティティクラスに起因するRGB-赤外ReIDにおけるドメインシフトを解消すること。
• 学習済みトレーニングクラスの判別的特徴に対するモデルの過信を低減することで、ゼロショット一般化を妨げる要因を軽減すること。
• グローバル構造的パターンを捉える学習可能でマルチスケールのメモリ機構を導入することで、未知のアイデンティティへの一般化を向上させること。
• 再チューニングを要せず、アーキテクチャの大幅な見直しや追加アノテーションなしに性能を向上させる、頑健でハイパーパramータに依存しないモジュールを提供すること。

提案手法

• 微細から粗い意味的スケールにわたるグローバル構造的プロトタイプを表す学習可能な潜在属性変数 $ m $ を明示的にモデル化する確率的グラフィカルモデルを導入する。
• 予測ヘッドにメモリ確率 $ p(m|x) $ を組み込み、学習済みクラスの判別的特徴における過信を低減する。
• 局所的注視キュー $ z $ に依存しない、多様なアイデンティティから得た代表的構造的パターンを格納・取得するマルチスケールメモリバンクを用いる。
• セマンティックコラプスを回避し、低周波数のドメインレベル情報の保持を図るため、グローバル平均プーリング（GAP）をメモリアugmented特徴表現に置き換える。
• 最近接Neighbourマッチングの代わりに、スパースでグローバルな構造的属性を用いてペairワイズ類似度計算を行う、変更されたトリプレット損失 $ \mathcal{L}_{sem} $ を採用する。
• 既存のReIDフレームワークに適合可能で、アーキテクチャの大幅な見直しや追加アノテーションなしに利用可能な、プラグアンドプレイ型のMG-MRAモジュールを設計する。

実験結果

リサーチクエスチョン

• RQ1 学習済みクラスの判別的特徴における過信は、RGB-IR ReIDにおけるゼロショット一般化にどのように悪影響を及えるか？
• RQ2 学習可能でマルチスケールのメモリ機構は、学習済みクラスの特徴に過剰に適合する注視を効果的に制御できるか？
• RQ3 グローバル構造的プロトタイプを組み込むことで、オープンセットReIDにおける未知アイデンティティへの一般化が向上するか？
• RQ4 提案されたMG-MRAモジュールは、トレーニングにおけるハイパーパramータの変動に対してどれほど頑健か？
• RQ5 MG-MRAは、再トレーニングやアーキテクチャ変更なしに、既存のReIDモデルに効果的に統合可能か？

主な発見

• MG-MRAはRegDBおよびSYSU-MM01の両データセットで最先端の性能を達成し、既存のSOTA手法を上回る。
• SYSU-MM01では、さまざまなハイパーパramータ設定においてHCTベースラインを2〜3%向上させ、その頑健性を示している。
• 可視化結果から、MG-MRAは非判別的領域への注視を低減させ、t-SNE上ではよりバランスの取れた、均等に分布した特徴を促進している。
• 注視ヒートマップから、MG-MRAがトレーニングデータセット固有の判別的領域への過剰な集中を軽減し、一般化性能の向上を確認している。
• バッチサイズや学習率の変更に対しても一貫した性能向上を示しており、ハイパーパramータチューニングに対して低い感受性を示している。
• MG-MRAはグローバルマックスプーリング（GMP）を用いるモデルとは互換性がなく、最適化の崩壊が発生するため、アーキテクチャ上の制限が顕在化している。