[論文レビュー] Clothes-Invariant Feature Learning by Causal Intervention for Clothes-Changing Person Re-identification

Xulin Li, Yan Lu+6 more|arXiv (Cornell University)|May 10, 2023

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

本論文は、服の変更を伴う人物再識別（CC-ReID）のための新規手法である因果的服不変学習（CCIL）を提案する。この手法は、服の混同要因（confounder）と身元特徴を分離するために、因果的干渉 $P(Y|do(X))$ を用いる。$X \rightarrow Y$ の因果関係をモデル化し、$X \dashrightarrow C \dashrightarrow Y$ の誤った短絡経路を排除することで、分離された特徴ネットワークと因果的干渉モジュールを用いて服不変特徴を学習し、3つのベンチマークで最先端の性能を達成した。

ABSTRACT

Clothes-invariant feature extraction is critical to the clothes-changing person re-identification (CC-ReID). It can provide discriminative identity features and eliminate the negative effects caused by the confounder--clothing changes. But we argue that there exists a strong spurious correlation between clothes and human identity, that restricts the common likelihood-based ReID method P(Y|X) to extract clothes-irrelevant features. In this paper, we propose a new Causal Clothes-Invariant Learning (CCIL) method to achieve clothes-invariant feature learning by modeling causal intervention P(Y|do(X)). This new causality-based model is inherently invariant to the confounder in the causal view, which can achieve the clothes-invariant features and avoid the barrier faced by the likelihood-based methods. Extensive experiments on three CC-ReID benchmarks, including PRCC, LTCC, and VC-Clothes, demonstrate the effectiveness of our approach, which achieves a new state of the art.

研究の動機と目的

• 服の変更による強い誤った相関（spurious correlation）が身元と服の間に生じる、服の変更を伴う人物再識別（CC-ReID）の課題に対処すること。
• 強い誤った相関のため、服を通じて身元を認識してしまう可能性がある尤度ベースのモデル $P(Y|X)$ の限界を克服すること。
• $P(Y|X)$ の代わりに因果的干渉 $P(Y|do(X))$ をモデル化することで、服を混同要因として除去し、真に服不変の特徴を実現すること。
• 因果的干渉の下で、服と身元の特徴を明示的に分離しながら、識別性の高い身元表現を保持する手法を設計すること。

提案手法

• 画像（$f_{\text{img}}$）と服（$f_{\text{clt}}$）のための分離された特徴を抽出するため、服-身元分離ネットワーク（CIDNet）を導入し、直交性と識別性を保証する。
• 新たな因果的服変更干渉（C$^3$I）モジュールは、$P(Y|do(X)) = \sum_j P(Y|X, C=c_j) \cdot P(C=c_j)$ を用いてバックドア調整を実装し、服が入力画像に依存しないようにする。
• 固定され直交する服の特徴を保持するメモリバンクを用いることで、画像と服の間の統計的独立性を強制し、混同を回避する。
• 尤度ベースの学習に代わる因果的干渉の目的関数に基づいてモデルを訓練することで、服の短絡に依存するのを防ぐ。
• 分離された画像特徴に対してコントラスト学習の目的関数を用い、服の特徴は身元特徴に対して直交し、識別性を保つように制約を課す。

実験結果

リサーチクエスチョン

• RQ1 因果的干渉 $P(Y|do(X))$ は、服の変更を伴うReIDにおける服と身元の誤った相関を効果的に除去できるか？
• RQ2 服と身元の特徴を分離した表現を学習でき、服の特徴が身元特徴に対して直交するようにできるか？
• RQ3 尤度ベースの学習を因果的干渉に置き換えることで、服の変更状況下での一般化性能が向上するか？
• RQ4 提案されたC$^3$Iモジュールは、追加のパラメータや性能の低下を伴わずに効果的な因果的干渉を達成できるか？

主な発見

• CCILは、PRCC、LTCC、VC-Clothesの3つのCC-ReIDベンチマークで、新たな最先端性能を達成し、ランク-1およびランク-10の精度で顕著な向上を示した。
• PRCCでは、ランク-1精度が92.3%に達し、以前の最先端手法よりもランク-1で2.1%、ランク-10で3.4%の向上を達成した。
• アブレーションスタディの結果、C$^3$Iモジュールを通常のMLPに置き換えると、ランク-1精度が2.7%低下し、因果的干渉の必要性が確認された。
• 固定され直交する服の特徴を有するメモリバンクは性能の安定性を維持するが、学習可能なメモリバンクは性能を低下させるため、服の特徴に対する制約が不可欠であることが示された。
• t-SNE可視化により、CCILが身元特徴と服の特徴を効果的に分離していることが確認され、異なる身元とその服のバリエーションが明確にクラスタリングされた。
• 活性化マップの可視化では、CCILが身元に関連する身体部位（例：頭部、手、関節）に注目し、服の領域への注目を抑制しているのに対し、ベースラインはそのような注目を示さなかった。