[논문 리뷰] Invariance Matters: Exemplar Memory for Domain Adaptive Person Re-identification

Zhun Zhong, Liang Zheng외 3명|arXiv (Cornell University)|2019. 04. 03.

Video Surveillance and Tracking Methods참고 문헌 37인용 수 55

한 줄 요약

이 논문은 exemplar memory와 세 가지 target-domain invariances(exemplar-, camera-, neighborhood-invariance)를 도입하여 person re-ID의 비지도 도메인 적응(UDA)을 개선하고 Market-1501, DukeMTMC-reID, MSMT17에서 최첨단 결과를 달성한다.

ABSTRACT

This paper considers the domain adaptive person re-identification (re-ID) problem: learning a re-ID model from a labeled source domain and an unlabeled target domain. Conventional methods are mainly to reduce feature distribution gap between the source and target domains. However, these studies largely neglect the intra-domain variations in the target domain, which contain critical factors influencing the testing performance on the target domain. In this work, we comprehensively investigate into the intra-domain variations of the target domain and propose to generalize the re-ID model w.r.t three types of the underlying invariance, i.e., exemplar-invariance, camera-invariance and neighborhood-invariance. To achieve this goal, an exemplar memory is introduced to store features of the target domain and accommodate the three invariance properties. The memory allows us to enforce the invariance constraints over global training batch without significantly increasing computation cost. Experiment demonstrates that the three invariance properties and the proposed memory are indispensable towards an effective domain adaptation system. Results on three re-ID domains show that our domain adaptation accuracy outperforms the state of the art by a large margin. Code is available at: https://github.com/zhunzhong07/ECN

연구 동기 및 목표

• 이전 방법에서 간과된 대상 도메인 내(target 내) 변이를 다룸으로써 도메인 적응형 person re-ID를 동기부여한다.
• 대상 도메인에서 표현을 일반화하기 위해 세 가지 불변성 속성(exemplar-, camera-, neighborhood-invariance)을 제안한다.
• 전략적 계산 오버헤드가 낮은 전역 대상 세트에 대해 불변성 제약을 강제하기 위해 exemplar memory 모듈을 도입한다.
• 여러 대형 스케일 데이터셋에 걸친 최신 UDA 방법들에 비해 실질적인 향상을 보인다.

제안 방법

• 특징 추출을 위해 4096-dim FC 층(FC-4096)을 갖춘 ResNet-50 백본을 사용한다.
• 교차 엔트로피 손실로 소스 데이터에 대해 감독 분류기를 유지한다.
• 업데이트된 타깃 피처를 저장하는 exemplar memory(K, V) 를 도입하고 학습 중 K를 업데이트하며 정규화한다.
• 타깃 이미지 각각을 고유 클래스처럼 간주하고 자신의 exemplar에 대한 유사성을 최대화하여 exemplar-invariance를 정의한다.
• CamStyle로 전이된 이미지를 사용하여 카메라 스타일 간 동일 신원 샘플을 끌어당김으로써 camera-invariance를 강제한다(p(i|x̂_t,i)).
• memory에서 내 근처의 k-최근접 이웃으로 exemplar를 끌어당김으로써 이웃들에 대한 소프트 라벨 손실을 사용하여 neighborhood-invariance를 부과한다.
• 손실들을 최종 목적식 L = (1-λ)L_src + λL_tgt로 결합하며 L_tgt는 exemplar-, camera-, neighborhood-invariance 손실을 집계한다.

실험 결과

연구 질문

• RQ1 대상 도메인 내 intra-class/도메인 내 변이를 어떻게 활용하여 사람 재식별의 비지도 도메인 적응을 개선할 수 있는가?
• RQ2 exemplar-, camera-, neighborhood-invariance가 이전의 교차 도메인 정렬 방법들에 비해 전이 가능성을 collectively 향상시키는가?
• RQ3 학습 중에 전역 대상 도메인 불변성을 효율적으로 강제하는 exemplar memory 메커니즘은 가능한가?
• RQ4 제안된 불변성들이 다양한 re-ID 데이터셋에서 성능을 얼마나 향상시키는가?

주요 결과

• exemplar-invariance, camera-invariance, neighborhood-invariance가 소스만 사용한 baselines 대비 교차 도메인 re-ID 성능을 향상시킨다.
• exemplar memory를 통해 글로벌 대상 샘플 관계 모델링이 가능하며 추가 계산/메모리가 비교적 작다(약 ~260 MB).
• camera-invariance를 추가하면 큰 이점이 생긴다(예: Duke를 소스로 Market을 대상으로 사용할 때 rank-1이 63.1%에서 75.1%로 증가).
• Neighborhood-invariance는 exemplar- 및 camera-invariance와 결합될 때 추가 이점을 제공한다(예: Duke→Market에서 E+C+N로 Market의 rank-1이 75.1%로 증가).
• ECN은 Market-1501, DukeMTMC-reID, MSMT17에서 최첨단 비지도 도메인 적응 결과를 달성하고, 이전 방법들보다 상당한 차이로 우수하다.