[논문 리뷰] Clothes-Invariant Feature Learning by Causal Intervention for Clothes-Changing Person Re-identification

Xulin Li, Yan Lu외 6명|arXiv (Cornell University)|2023. 05. 10.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

이 논문은 인물 재식별에서 옷 변화 문제를 다루기 위한 새로운 방법인 인과적 옷에 관계없는 학습(Causal Clothes-Invariant Learning, CCIL)을 제안한다. 이 방법은 인과적 간섭 $P(Y|do(X))$를 사용하여 신원 특징과 옷에 의한 혼란 요인을 분리한다. $X \rightarrow Y$의 인과 관계를 모델링하고, $X \dashrightarrow C \dashrightarrow Y$와 같은 비합리적인 단서를 제거함으로써, 분리된 특징 네트워크와 인과적 간섭 모듈을 통해 옷에 관계없는 특징을 학습함으로써 세 가지 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Clothes-invariant feature extraction is critical to the clothes-changing person re-identification (CC-ReID). It can provide discriminative identity features and eliminate the negative effects caused by the confounder--clothing changes. But we argue that there exists a strong spurious correlation between clothes and human identity, that restricts the common likelihood-based ReID method P(Y|X) to extract clothes-irrelevant features. In this paper, we propose a new Causal Clothes-Invariant Learning (CCIL) method to achieve clothes-invariant feature learning by modeling causal intervention P(Y|do(X)). This new causality-based model is inherently invariant to the confounder in the causal view, which can achieve the clothes-invariant features and avoid the barrier faced by the likelihood-based methods. Extensive experiments on three CC-ReID benchmarks, including PRCC, LTCC, and VC-Clothes, demonstrate the effectiveness of our approach, which achieves a new state of the art.

연구 동기 및 목표

• 옷 변화가 발생하는 인물 재식별(CC-ReID) 문제를 해결하기 위해, 옷 변화로 인해 발생하는 강력한 비합리적인 상관관계를 다루기 위해.
• 강력한 비합리적인 상관관계로 인해 옷을 통해 신원을 인식하게 되는 경향이 있는 가능성 기반 모델 $P(Y|X)$의 한계를 극복하기 위해.
• 인과적 간섭 $P(Y|do(X))$를 모델링하여 $P(Y|X)$ 대신 사용함으로써 옷이 혼란 요인으로서의 영향을 제거함으로써 진정으로 옷에 관계없는 특징을 얻기 위해.
• 인과적 간섭 하에서 신원 표현력을 유지하면서도 옷과 신원 특징을 명시적으로 분리하는 방법을 설계하기 위해.

제안 방법

• 이 방법은 이미지($f_{\text{img}}$)와 옷($f_{\text{clt}}$)에 대해 분리된 특징을 추출하기 위해 옷-신원 분리 네트워크(CIDNet)를 도입하여, 수직성과 판별 능력을 보장한다.
• 새로운 인과적 옷 변화 간섭(C$^3$I) 모듈은 $P(Y|do(X)) = \sum_j P(Y|X, C=c_j) \cdot P(C=c_j)$를 통해 배경 조정(backdoor adjustment)를 구현하며, 이미지와 옷 간의 독립성을 확보한다.
• C$^3$I 모듈은 고정된, 상호 수직인 옷 특징을 갖는 메모리 백을 사용하여 이미지와 옷 간의 통계적 독립성을 강제로 확보함으로써 혼란 요인을 방지한다.
• 모델은 가능도 기반 학습 대신 인과적 간섭 목적함수를 사용하여 훈련되며, 이는 모델이 옷에 의한 단서에 의존하는 것을 방지한다.
• 분리된 이미지 특징에 대해 대비 학습 목적함수를 사용하고, 옷 특징는 신원 특징와 수직이면서 판별 가능하도록 제약한다.

실험 결과

연구 질문

• RQ1 인과적 간섭 $P(Y|do(X))$는 옷 변화가 발생하는 재식별에서 신원과 옷 간의 비합리적인 상관관계를 효과적으로 제거할 수 있는가?
• RQ2 옷과 신원 특징를 분리된 표현으로 학습할 수 있는가? 특히 옷 특징가 신원 특징와 수직이 되도록 할 수 있는가?
• RQ3 가능도 기반 학습을 인과적 간섭으로 대체함으로써 옷 변화 상황에서 일반화 성능이 향상되는가?
• RQ4 제안된 C$^3$I 모듈은 추가적인 파라미터나 성능 저하 없이 효과적인 인과적 간섭을 달성할 수 있는가?

주요 결과

• CCIL은 세 가지 CC-ReID 벤치마크(PRCC, LTCC, VC-Clothes)에서 새로운 최신 기술 수준(SOTA) 성능을 달성하였으며, 랭크-1 및 랭크-10 정확도에서 뚜렷한 향상을 보였다.
• PRCC에서 랭크-1 정확도가 92.3%를 기록하여 이전 SOTA 대비 랭크-1에서 2.1% 향상되고 랭크-10에서 3.4% 향상되었다.
• 제거 실험 결과, C$^3$I 모듈을 표준 MLP로 대체할 경우 랭크-1 정확도가 2.7% 감소함으로써 인과적 간섭의 필요성을 확인하였다.
• 고정된, 상호 수직인 옷 특징를 갖는 메모리 백은 성능 안정성을 유지하지만, 학습 가능한 메모리 백은 성능 저하를 초래함을 확인하여 옷 특징에 대한 제약 조건이 필수적임을 시사한다.
• t-SNE 시각화 결과 CCIL이 신원 특징와 옷 특징를 효과적으로 분리했음을 확인하였으며, 서로 다른 신원과 그에 따른 옷 변화에 대해 명확한 클러스터가 형성되었다.
• 활성화 맵 시각화 결과 CCIL은 신원 관련 신체 부위(예: 머리, 손, 관절)에 집중하고 옷 영역에 대한 주의를 억제하는 반면, 기준 모델은 이러한 특징을 잘 구분하지 못함을 보여주었다.