[논문 리뷰] Joint Disentangling and Adaptation for Cross-Domain Person Re-Identification

Yang Zou, Xiaodong Yang외 3명|arXiv (Cornell University)|2020. 07. 20.

Video Surveillance and Tracking Methods참고 문헌 41인용 수 19

한 줄 요약

이 논문은 교차 도메인 인물 재식별을 위한 동시 분리 및 적응 프레임워크를 제안하며, 정체성 관련(외형) 및 정체성 무관(자세, 배경, 조명) 특징을 분리하여 정체성 관련 공간에만 집중적인 적응을 가능하게 한다. 분리된 외형 공간에서 적대적 정렬과 자기학습을 결합한 사이클 일관성 있는 이미지 생성 모듈을 공동 설계함으로써, 기존 비지도 도메인 적응 방법에 비해 뚜렷한 성능 향상을 이룩한 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Although a significant progress has been witnessed in supervised person re-identification (re-id), it remains challenging to generalize re-id models to new domains due to the huge domain gaps. Recently, there has been a growing interest in using unsupervised domain adaptation to address this scalability issue. Existing methods typically conduct adaptation on the representation space that contains both id-related and id-unrelated factors, thus inevitably undermining the adaptation efficacy of id-related features. In this paper, we seek to improve adaptation by purifying the representation space to be adapted. To this end, we propose a joint learning framework that disentangles id-related/unrelated features and enforces adaptation to work on the id-related feature space exclusively. Our model involves a disentangling module that encodes cross-domain images into a shared appearance space and two separate structure spaces, and an adaptation module that performs adversarial alignment and self-training on the shared appearance space. The two modules are co-designed to be mutually beneficial. Extensive experiments demonstrate that the proposed joint learning framework outperforms the state-of-the-art methods by clear margins.

연구 동기 및 목표

• 모델이 한 도메인에서 학습된 후 새로운 도메인에서 실패하는 큰 도메인 간 격리 문제를 해결하기 위해 도메인 이동 문제를 다룬다.
• 기존 비지도 도메인 적응 방법의 한계를 극복하기 위해 혼합된 특징 공간에서 작동하는 바, 정체성 무관 인자들이 정체성 관련 특징 학습에 간섭하는 문제를 해결한다.
• 특징 분리와 도메인 적응을 동시에 최적화하여 각 모듈이 상호로 향상되도록 한다.
• 정체성 관련 특징 공간에만 집중적으로 적응을 수행함으로써 도메인 특화된 변동성의 간섭을 최소화하고 효과적인 적응을 가능하게 한다.

제안 방법

• 세 가지 잠재 공간(공유 외형 공간(정체성 관련), 별도의 원천 및 타겟 구조 공간(정체성 무관))을 갖는 교차 도메인 및 사이클 일관성 있는 이미지 생성 프레임워크.
• 분리 모듈은 세 개의 인코더를 사용하여 이미지를 외형 및 구조 코드로 분해함으로써 이미지 재구성 및 교차 도메인 번역을 가능하게 한다.
• 적응은 공유 외형 공간에서만 수행되며, 타겟 도메인의 의사 레이블을 사용한 적대적 정렬 및 자기학습을 통해 이루어진다.
• 분리 및 적응 모듈을 공동으로 훈련하여, 향상된 분리는 적응을 향상시키고, 더 나은 적응은 분리의 품질을 향상시킨다.
• 손실 함수에는 사이클 일관성 손실, 합성 이미지에서의 정체성 분류 손실, 외형 공간에서의 도메인 정렬을 위한 적대적 손실이 포함된다.
• 초기 설정은 Market1501 → DukeMTMC에서 최적화된 하이퍼파rameter를 사용하여 엔드 투 엔드로 훈련되며, λ_cyc 및 λ_id의 변동에 대해 강건함을 보였다.

실험 결과

연구 질문

• RQ1 정체성 관련 및 정체성 무관 특징을 분리하면 비지도 도메인 적응에서 교차 도메인 인물 재식별의 성능 향상에 기여하는가?
• RQ2 분리된 정체성 관련 특징 공간에만 적응을 집중하면 혼합된 특징 공간에서의 동시 적응보다 성능이 향상되는가?
• RQ3 분리와 적응의 공동 최적화가 상호 보완적인 훈련 과정을 만들어내는가?
• RQ4 제안된 방법은 다양한 벤치마크에서 큰 도메인 간 격리를 효과적으로 다룰 수 있는가?

주요 결과

• 제안된 방법은 여섯 개의 교차 도메인 인물 재식별 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 기존 비지도 도메인 적응 방법에 비해 뚜렷한 성능 우위를 보였다.
• 절단 실험 결과, 교차 도메인 분리나 의사 정체성 감독을 제거할 경우 이미지 합성 품질이 떨어지며, 이는 공동 프레임워크의 필수성을 확인한다.
• 정성적 결과는 합성 이미지가 정확한 옷 색상과 스타일을 유지하면서도 배경과 조명을 사실적으로 전이하는 것으로 나타났으며, 기준 방법이 전경이나 구조 전이에 실패하는 것과 대비된다.
• 모델은 하이퍼파rameter 변화에 강건하며, λ_cyc ∈ [1,4] 및 λ_id ∈ [0.25,1] 범위에서 성능이 안정적으로 유지되어 λ_cyc=2 및 λ_id=0.5 선택의 타당성을 뒷받침한다.
• 의복 스타일, 계절, 시점, 조명의 차이가 큰 다양한 도메인 쌍에 대해서도 잘 일반화됨을 보였다.