[论文解读] Clothes-Invariant Feature Learning by Causal Intervention for Clothes-Changing Person Re-identification

Xulin Li, Yan Lu+6 more|arXiv (Cornell University)|May 10, 2023

Video Surveillance and Tracking Methods被引用 5

一句话总结

本文提出了一种名为因果衣物不变学习（Causal Clothes-Invariant Learning, CCIL）的新方法，用于解决衣物更换人员重识别问题。该方法通过因果干预 $P(Y|do(X))$ 将身份特征与衣物混淆因子解耦。通过建模因果关系 $X \rightarrow Y$ 并消除虚假捷径 $X \dashrightarrow C \dashrightarrow Y$，CCIL 在三个基准数据集上实现了最先进性能，其核心在于通过解耦特征网络与因果干预模块学习衣物不变特征。

ABSTRACT

Clothes-invariant feature extraction is critical to the clothes-changing person re-identification (CC-ReID). It can provide discriminative identity features and eliminate the negative effects caused by the confounder--clothing changes. But we argue that there exists a strong spurious correlation between clothes and human identity, that restricts the common likelihood-based ReID method P(Y|X) to extract clothes-irrelevant features. In this paper, we propose a new Causal Clothes-Invariant Learning (CCIL) method to achieve clothes-invariant feature learning by modeling causal intervention P(Y|do(X)). This new causality-based model is inherently invariant to the confounder in the causal view, which can achieve the clothes-invariant features and avoid the barrier faced by the likelihood-based methods. Extensive experiments on three CC-ReID benchmarks, including PRCC, LTCC, and VC-Clothes, demonstrate the effectiveness of our approach, which achieves a new state of the art.

研究动机与目标

• 为解决衣物更换人员重识别（CC-ReID）中的挑战，即衣物变化在身份与衣物之间引入强虚假相关性。
• 克服基于似然模型 $P(Y|X)$ 的局限性，此类模型因强虚假相关性而无意中通过衣物识别身份。
• 通过建模因果干预 $P(Y|do(X))$ 而非 $P(Y|X)$，实现真正衣物不变的特征表示，从而消除衣物作为混淆因子的影响。
• 设计一种显式解耦衣物与身份特征的方法，同时在因果干预下保持身份表征的判别能力。

提出的方法

• 该方法引入衣物-身份解耦网络（CIDNet），用于提取图像（$f_{\text{img}}$）和衣物（$f_{\text{clt}}$）的解耦特征，确保正交性与判别性。
• 提出一种新型因果衣物更换干预（C$^3$I）模块，通过 $P(Y|do(X)) = \sum_j P(Y|X, C=c_j) \cdot P(C=c_j)$ 实现后门调整，使衣物与输入图像独立。
• C$^3$I 模块使用包含固定正交衣物特征的记忆库，以强制实现图像与衣物之间的统计独立性，避免混淆。
• 模型在因果干预目标下进行训练，取代基于似然的训练方式，从而防止模型依赖衣物捷径。
• 框架在解耦图像特征上使用对比学习目标，同时约束衣物特征具有判别性，并与身份特征保持正交。

实验结果

研究问题

• RQ1 因果干预 $P(Y|do(X))$ 是否能有效消除衣物更换重识别中衣物与身份之间的虚假相关性？
• RQ2 能否学习到衣物与身份的解耦特征表示，使得衣物特征与身份特征正交？
• RQ3 用因果干预替代基于似然的学习是否能提升在衣物更换场景下的泛化能力？
• RQ4 所提出的 C$^3$I 模块是否能在不引入额外参数或性能下降的前提下实现有效因果干预？

主要发现

• CCIL 在三个 CC-ReID 基准数据集（PRCC、LTCC 和 VC-Clothes）上实现了新的最先进性能，显著提升了 rank-1 与 rank-10 准确率。
• 在 PRCC 数据集上，该方法达到 92.3% 的 rank-1 准确率，相比之前最先进方法在 rank-1 上提升 2.1%，在 rank-10 上提升 3.4%。
• 消融实验表明，若将 C$^3$I 模块替换为标准 MLP，rank-1 准确率下降 2.7%，证实了因果干预的必要性。
• 固定且正交的衣物特征记忆库维持了性能稳定性，而可学习的记忆库则导致性能下降，表明对衣物特征施加约束至关重要。
• t-SNE 可视化结果表明，CCIL 有效将身份特征与衣物特征分离，不同身份及其衣物变体形成清晰独立的聚类。
• 激活图可视化显示，CCIL 将注意力聚焦于与身份相关的关键身体部位（如头部、手部、关节），并抑制对衣物区域的关注，而基线模型则无此特性。