[논문 리뷰] Memorizing Comprehensively to Learn Adaptively: Unsupervised Cross-Domain Person Re-ID with Multi-level Memory

Xinyu Zhang, Dong Gong외 2명|arXiv (Cornell University)|2020. 01. 13.

Video Surveillance and Tracking Methods참고 문헌 53인용 수 8

한 줄 요약

이 논문은 레이블이 없는 타겟 도메인 데이터에서 세분화된 관계와 전반적인 관계를 포착하기 위해 부위 수준, 인스턴스 수준, 도메인 수준의 메모리 모듈을 활용하는 다중 수준 메모리 네트워크(MMN)를 제안한다. 다중 수준의 감독을 체계적으로 통합함으로써 유사성 및 이질성 학습을 향상시키며, 타겟 도메인에 대한 레이블이 필요 없이 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Unsupervised cross-domain person re-identification (Re-ID) aims to adapt the information from the labelled source domain to an unlabelled target domain. Due to the lack of supervision in the target domain, it is crucial to identify the underlying similarity-and-dissimilarity relationships among the unlabelled samples in the target domain. In order to use the whole data relationships efficiently in mini-batch training, we apply a series of memory modules to maintain an up-to-date representation of the entire dataset. Unlike the simple exemplar memory in previous works, we propose a novel multi-level memory network (MMN) to discover multi-level complementary information in the target domain, relying on three memory modules, i.e., part-level memory, instance-level memory, and domain-level memory. The proposed memory modules store multi-level representations of the target domain, which capture both the fine-grained differences between images and the global structure for the holistic target domain. The three memory modules complement each other and systematically integrate multi-level supervision from bottom to up. Experiments on three datasets demonstrate that the multi-level memory modules cooperatively boost the unsupervised cross-domain Re-ID task, and the proposed MMN achieves competitive results.

연구 동기 및 목표

• 타겟 도메인에서 정체성 레이블이 제공되지 않는 비지도 교차 도메인 인물 재식별 문제에 대응한다.
• 이전 방법들이 취약한 예시 수준의 유사성 또는 히우리스틱 클러스터링에 의존하는 점을 극복하기 위해 세분화된 구조와 전반적인 데이터 구조를 모두 포착한다.
• 다양한 수준의 표현에서 유사한 보완 감독을 통합함으로써 학습의 신뢰성과 모델의 일반화 능력을 향상시킨다.
• 전체 데이터셋의 동적이고 최신 상태의 메모리 표현을 유지함으로써 비라벨 타겟 데이터의 효과적인 활용을 가능하게 한다.

제안 방법

• 부위 수준 메모리(지역적 특징 표현용), 인스턴스 수준 메모리(전체 이미지 특징용), 도메인 수준 메모리(전반적 클러스터 프로토타입용)의 세 가지 보완적 메모리 모듈을 도입한다.
• 각 메모리 모듈에서 k개 이웃 검색을 수행하여 감독을 위한 관련 샘플을 검색하며, 이 유사성은 학습 가능한 온도 인자와 함께 코사인 거리로 측정된다.
• 학습 중에 메모리 풀을 동적으로 업데이트하여 변화하는 특징 표현을 반영하고 최신 상태의 데이터 관계를 유지한다.
• 유사성 및 이질성 추정을 정교화하기 위해 세 가지 메모리 수준의 감독 신호를 계층적이고 체계적인 방식으로 통합한다.
• 학습 안정성 향상과 분류 성능 향상을 위해 손실 함수에서 온도 조절 코사인 유사도를 적용한다.
• 특징 임bedding에 클러스터링을 적용하여 도메인 수준 메모리를 형성하며, 각 슬롯은 클러스터 중심을 나타내어 전반적 데이터 분포를 포착한다.

실험 결과

연구 질문

• RQ1 세분화된 관계와 전반적인 데이터 관계를 모두 포착함으로써 다중 수준 메모리 표현이 비지도 교차 도메인 인물 재식별 성능을 향상시킬 수 있는가?
• RQ2 부위 수준, 인스턴스 수준, 도메인 수준의 메모리 통합이 레이블이 없는 상황에서 유사성 및 이질성 학습의 신뢰성을 어떻게 향상시키는가?
• RQ3 단일 수준 메모리 또는 히우리스틱 클러스터링에 비해 제안된 MMN이 유사성 추정에서 거짓 양성(false positives)을 얼마나 줄이는가?
• RQ4 유사도 함수의 온도 인자 및 k 값과 같은 하이퍼파라미터에 대해 이 방법의 민감도는 어느 정도인가?

주요 결과

• 제안된 MMN은 Market-1501, DukeMTMC-Re-ID, MSMT17의 세 가지 표준 벤치마크에서 최신 기술 수준의 성능을 달성하며, 비지도 교차 도메인 환경에서 강력한 일반화 능력을 입증한다.
• D→M 설정(Duke에서 Market으로)에서 MMN은 65.1% mAP와 86.0% Rank-1 정확도를 기록하며 이전 비지도 방법들을 초월한다.
• 하이퍼파라미터 선택에 대한 강건성: 최적의 성능은 k=10에서 달성되며, 온도 값(α2 ∈ [2.0, 8.0])의 넓은 범위에서 모델이 안정적으로 유지된다.
• 정성적 분석 결과, 학습 과정에서 이웃 선택이 점차 향상되며, 세분화된 부위 및 전반적 구조적 단서를 바탕으로 같은 정체성 샘플을 정확히 식별하고 거짓 양성을 거부하는 것으로 확인된다.
• 클러스터링 품질이 학습 과정에서 크게 향상되며, 더 많은 샘플이 의미 있는 의사 클러스터에 정확히 그룹화됨을 확인하여 특징의 분류 능력 향상을 시사한다.
• 부위 수준 및 도메인 수준 메모리의 통합은 특히 서로 다른 정체성 간에 혼동스러운 외관 유사성으로 인한 인스턴스 수준 메모리의 오류를 효과적으로 수정한다.