[논문 리뷰] Calibrated Feature Decomposition for Generalizable Person Re-Identification

Kecheng Zheng, Jiawei Liu외 3명|arXiv (Cornell University)|2021. 11. 27.

Video Surveillance and Tracking Methods참고 문헌 42인용 수 4

한 줄 요약

이 논문은 도메인 일반화 가능한 인물 재식별을 위한 새로운 모듈인 校정된 특징 분해(Calibrated Feature Decomposition, CFD)를 제안한다. CFD는 특징을 정체성 관련, 도메인 특화, 그리고 뒤섞인 성분으로 분해한다. 校정된 배치 정규화(CSBN)와 校정된 인스턴스 정규화(CIN)를 도입함으로써 특징의 분류 능력과 일반화 능력을 향상시켜, 다양한 벤치마크에서 기존 방법보다 뚜렷한 성능 향상을 이룩하며 최신 기준 성능에 도달한다.

ABSTRACT

Existing disentangled-based methods for generalizable person re-identification aim at directly disentangling person representations into domain-relevant interference and identity-relevant feature. However, they ignore that some crucial characteristics are stubbornly entwined in both the domain-relevant interference and identity-relevant feature, which are intractable to decompose in an unsupervised manner. In this paper, we propose a simple yet effective Calibrated Feature Decomposition (CFD) module that focuses on improving the generalization capacity for person re-identification through a more judicious feature decomposition and reinforcement strategy. Specifically, a calibrated-and-standardized Batch normalization (CSBN) is designed to learn calibrated person representation by jointly exploring intra-domain calibration and inter-domain standardization of multi-source domain features. CSBN restricts instance-level inconsistency of feature distribution for each domain and captures intrinsic domain-level specific statistics. The calibrated person representation is subtly decomposed into the identity-relevant feature, domain feature, and the remaining entangled one. For enhancing the generalization ability and ensuring high discrimination of the identity-relevant feature, a calibrated instance normalization (CIN) is introduced to enforce discriminative id-relevant information, and filter out id-irrelevant information, and meanwhile the rich complementary clues from the remaining entangled feature are further employed to strengthen it. Extensive experiments demonstrate the strong generalization capability of our framework. Our models empowered by CFD modules significantly outperform the state-of-the-art domain generalization approaches on multiple widely-used benchmarks. Code will be made public: https://github.com/zkcys001/CFD.

연구 동기 및 목표

• 기존의 분리 기반 방법이 도메인 간에 끈질리게 뒤섞인 특징을 다루지 못하는 한계를 해결한다.
• 원천 도메인과 타겟 도메인이 정체성 수가 변동하는 개방형 도메인 일반화 환경에서 모델의 일반화 능력을 향상시킨다.
• 완벽한 분리가 가정되는 것이 아니라, 정체성 관련, 도메인 특화, 그리고 뒤섞인 특징을 분리하는 더 신중한 특징 분해 전략을 개발한다.
• 특징 분해를 유도하고 강화하기 위해 정규화 기법(CSBN 및 CIN)을 도입하여 더 나은 도메인 불변 표현 학습을 달성한다.
• 도메인 특화 모델 앙상블이나 복잡한 메타학습 메커니즘에 의존하지 않고도 여러 벤치마크에서 최신 기준 성능을 달성한다.

제안 방법

• 정체성 관련, 도메인 특화, 나머지 뒤섞인 특징으로 구성된 세 가지 성분으로 특징을 분해하는 校정된 특징 분해(CFD) 모듈을 제안한다.
• 내부 도메인 일관성과 외부 도메인 표준화를 강제하기 위해 보정된 표준화 배치 정규화(CSBN)를 설계하여, 도메인 특화 통계를 포착하면서도 특징 분포를 안정화한다.
• 정체성 관련 특징의 분류 능력을 향상시키기 위해, 정체성과 관련 없는 정보를 걸러내는 보정된 인스턴스 정규화(CIN)를 도입한다.
• 채널 기반 주의 메커니즘(CBAM 방식)을 사용해 특징 분해를 유도하며, 분석 결과에서 공간 및 채널 주의의 병합(SC)이 가장 높은 성능을 낸다.
• 특징 분해 과정을 유도하기 위해 도메인 손실을 적용하여, 도메인 간 특징 정렬을 통해 일반화 능력을 향상시킨다.
• CFD를 ResNeXt-50-MSL 백본의 모든 스테이지에 통합하며, 분석 결과 모든 스테이지에 적용했을 때 최적의 성능을 보였다.

실험 결과

연구 질문

• RQ1 정체성, 도메인, 뒤섞인 성분을 분리하는 더 세분화된 특징 분해 전략이 표준 분리 기반 접근을 넘어서 인물 재식별의 일반화 능력을 향상시킬 수 있는가?
• RQ2 보정된 정규화 기법(CSBN 및 CIN)이 뉴턴 도메인에서 분해된 특징의 품질과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 학습 중 도메인 손실을 포함함으로써 CFD의 특징 분해 효과성이 향상되는가?
• RQ4 공간, 채널, 또는 병합 주의 메커니즘의 다양한 주의 방식이 CFD 모듈 성능에 어떤 영향을 미치는가?
• RQ5 CFD는 개방형, 정체성 수가 변동하는 도메인 일반화 벤치마크에서 기존의 도메인 일반화 방법보다 어느 정도 뛰어나게 성능을 발휘하는가?

주요 결과

• CSBN 및 CIN을 갖춘 CFD 모델은 CS+MT+C3→M 벤치마크에서 87.18%의 R1 정확도와 69.98%의 mAP를 기록하여 기준 모델을 크게 능가한다.
• 백본의 네 개 스테이지 전부에 CFD를 적용할 경우 최고의 성능를 기록하여 깊이 있는 통합의 중요성을 입증한다.
• 분석 결과 도메인 손실이 CFD 성능을 향상시키며, CFD 모델에 추가했을 때 mAP가 2.38%p 상승함을 확인했다.
• 공간 및 채널 주의의 병합(SC)이 가장 높은 성능(73.11% R1, 88.87% mAP)을 기록하여 공간 전용 또는 채널 전용 주의보다 뛰어나다.
• t-SNE 시각화 결과 CFD가 도메인 간 간격을 줄이고, 특히 VIPeR, PRID, GRID, i-LIDS와 같은 미사용 데이터셋에서의 도메인 간 밀도를 향상시킴을 확인했다.
• 특징 맵 시각화 결과 CFD가 두드러진 신체 부위에서 정체성 관련 특징을 강화하면서도 도메인 관련 반응을 유지함을 보여주며, 뒤섞인 특징의 지속성을 입증했다.