[논문 리뷰] Learning to Adapt Invariance in Memory for Person Re-identification

Zhun Zhong, Liang Zheng외 3명|arXiv (Cornell University)|2019. 08. 01.

Video Surveillance and Tracking Methods참고 문헌 61인용 수 36

한 줄 요약

무감독 도메인 적응 프레임워크를 제안하는데, exemplar-, camera-, and neighborhood-invariance를 강화하기 위해 exemplar memory와 Graph-based Positive Prediction (GPP)를 통해 대상 도메인 일반화를 개선한다.

ABSTRACT

This work considers the problem of unsupervised domain adaptation in person re-identification (re-ID), which aims to transfer knowledge from the source domain to the target domain. Existing methods are primary to reduce the inter-domain shift between the domains, which however usually overlook the relations among target samples. This paper investigates into the intra-domain variations of the target domain and proposes a novel adaptation framework w.r.t. three types of underlying invariance, i.e., Exemplar-Invariance, Camera-Invariance, and Neighborhood-Invariance. Specifically, an exemplar memory is introduced to store features of samples, which can effectively and efficiently enforce the invariance constraints over the global dataset. We further present the Graph-based Positive Prediction (GPP) method to explore reliable neighbors for the target domain, which is built upon the memory and is trained on the source samples. Experiments demonstrate that 1) the three invariance properties are indispensable for effective domain adaptation, 2) the memory plays a key role in implementing invariance learning and improves the performance with limited extra computation cost, 3) GPP could facilitate the invariance learning and thus significantly improves the results, and 4) our approach produces new state-of-the-art adaptation accuracy on three re-ID large-scale benchmarks.

연구 동기 및 목표

• 대상 도메인에서의 내부 변이가 무감독 도메인 적응에 미치는 영향을 조사한다.
• Exemplar-Invariance, Camera-Invariance, Neighborhood-Invariance의 세 가지 대상 불변성을 도입하고 이들의 영향을 평가한다.
• 추가 계산을 최소화하면서 전체 학습 세트에 걸쳐 이 불변성을 강제하는 메모리 기반 프레임워크를 개발한다.
• Invariant 학습을 신뢰성 있게 식별하기 위해 Graph-based Positive Prediction (GPP) 모듈을 도입한다.

제안 방법

• 공유 피처 추출기와 도메인별 exemplar memories(source 및 target)를 갖춘 이중 분기 학습 프레임워크를 사용한다.
• 대상 분기에 세 가지 불변 손실을 적용한다: exemplar-invariance(각 대상 exemplar이 자신의 클래스에 분류), camera-invariance(대상 이미지와 CamStyle 변형이 같은 클래스를 공유), neighborhood-invariance(대상 이미지가 신뢰할 수 있는 이웃으로 분류).
• 최신 대상 특징을 저장하고 전역적 비배치 기반 불변 학습을 가능하게 하는 exemplar memory를 도입한다.
• Graph-based Positive Prediction (GPP)를 제안하여 top-k memory 이웃으로부터 그래프를 구성하고 Graph Convolutional Networks를 적용해 양의 이웃을 예측한다(소스 데이터로 학습하고 대상에 적용).
• 소스 도메인에서 GPP를 학습하여 양의 이웃 예측을 학습시키고, 그런 다음 대상 도메인에 적용하여 NI 학습을 돕되 피처 추출기를 역전파하지 않는다.
• 대상 이미지에 대해 카메라 스타일 변형을 생성하기 위해 CamStyle (CycleGAN/StarGAN)을 활용하여 CI를 지원한다.

실험 결과

연구 질문

• RQ1 대상 도메인에서의 Exemplar-, Camera-, and Neighborhood-invariance를 도입하는 것이 도메인 간 분포 정렬만 하는 것보다 무감독 도메인 적응을 향상시키는가?
• RQ2 exemplar memory가 최소한의 추가 계산으로 글로벌(미니배치 아님) 불변 학습을 가능하게 하는가?
• RQ3 Graph-based Positive Prediction이 대상 도메인 적응에서 이웃-불변 학습의 신뢰성을 높이는가?
• RQ4 제안된 방법이 대규모 재ID 벤치마크(Market-1501, DukeMTMC-reID, MSMT17)에서 최첨단 UDA 방법과 비교해 얼마나 성능을 보이는가?

주요 결과

• 세 가지 불변성 속성이 재ID에서 효과적인 도메인 적응에 필수적이다.
• 메모리 기반의 불변 학습은 추가 계산 및 메모리 비용이 제한적일 때 성능을 크게 향상시킨다.
• GPP는 NI 학습의 신뢰할 수 있는 양의 이웃을 제공하여 불변 학습을 개선하고 목표 데이터에서의 정확도(mAP 포함)를 향상시킨다.
• 이 방법은 세 가지 대규모 재ID 벤치마크에서 최첨단 적응 정확도(SOTA)를 달성한다(Market-1501, DukeMTMC-reID, MSMT17).