[논문 리뷰] Structured Domain Adaptation for Unsupervised Person Re-identification.

Yixiao Ge, Feng Zhu외 2명|arXiv (Cornell University)|2020. 01. 01.

Video Surveillance and Tracking Methods인용 수 8

한 줄 요약

이 논문은 비지도(person re-identification)에서 소스 도메인에서 타겟 도메인으로의 도메인 변환 과정에서 관계 일관성 관리를 강제하는 종단간 구조적 도메인 적응 프레임워크를 제안한다. 온라인 관계 일관성 정규화를 통해 특징 인코더와 번역 모듈을 동시에 최적화함으로써, 의사 레이블링 성능을 향상시키고 개방 집합 re-ID 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Unsupervised domain adaptation (UDA) aims at adapting the model trained on a labeled source-domain dataset to an unlabeled target-domain dataset. The task of UDA on open-set person re-identification (re-ID) is even more challenging as the identities (classes) do not overlap between the two domains. One major research direction was based on domain translation, which, however, has fallen out of favor in recent years due to inferior performance compared to pseudo-label-based methods. We argue that translation-based methods have great potential on exploiting the valuable source-domain data but they did not provide proper regularization on the translation process. Specifically, these methods only focus on maintaining the identities of the translated images while ignoring the inter-sample relation during translation. To tackle the challenge, we propose an end-to-end structured domain adaptation framework with an online relation-consistency regularization term. During training, the person feature encoder is optimized to model inter-sample relations on-the-fly for supervising relation-consistency domain translation, which in turn, improves the encoder with informative translated images. An improved pseudo-label-based encoder can therefore be obtained by jointly training the source-to-target translated images with ground-truth identities and target-domain images with pseudo identities. In the experiments, our proposed framework is shown to outperform state-of-the-art methods on multiple UDA tasks of person re-ID. Code is available at this https URL.

연구 동기 및 목표

• 소스 도메인과 타겟 도메인이 정체성 겹침이 없는 개방 집합 인물 재식별 환경에서 비지도 도메인 적응의 과제를 해결하기 위해.
• 기존의 번역 기반 방법들이 도메인 번역 과정에서 샘플 간 관계에 대한 적절한 정규화가 부족한 한계를 극복하기 위해.
• 학습 중에 구조적이고 관계 일관성이 확보된 번역된 이미지를 활용하여 의사 레이블링 품질을 향상시키기 위해.
• 온라인 관계 일관성 정규화 항목을 사용하여 특징 인코더와 도메인 번역 과정을 함께 최적화하기 위해.
• 다양한 비지도 인물 재식별 벤치마크 설정에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 인물 특징 인코더와 도메인 번역 모듈을 함께 훈련하는 종단간 프레임워크를 도입한다.
• 소스에서 타겟 도메인으로의 번역 과정에서 샘플 간 특징 관계가 유지되도록 온라인 관계 일관성 정규화 항목을 적용한다.
• 정답 레이블이 부여된 번역된 소스 이미지와 의사 레이블이 부여된 타겟 도메인 이미지를 함께 사용하여 훈련한다.
• 실시간으로 샘플 간 관계를 모델링하는 특징 인코더를 최적화하여 번역 과정을 지도한다.
• 관계 일관성이 확보된 번역의 피드백을 활용하여 의사 레이블이 부여된 타겟 도메인 이미지의 품질을 향상시킨다.
• 번역 과정에서 사람 임베딩 간 상대적 유사도를 유지하기 위해 대비 학습 목표를 활용한다.

실험 결과

연구 질문

• RQ1 도메인 번역 과정에서 샘플 간 관계 일관성을 강제하면 비지도 인물 재식별 성능이 향상되는가?
• RQ2 오픈 세트 re-ID 환경에서 관계 일관성이 확보된 번역은 표준 번역 또는 의사 레이블링 베이스라인에 비해 어떻게 비교되는가?
• RQ3 관계 일관성 정규화를 적용한 온라인 종단간 훈련은 번역 모듈과 인코더를 별도로 훈련하는 것보다 더 우수한 일반화 성능을 낳는가?
• RQ4 제안된 방법은 정체성 무관 인물 재식별에서 도메인 이동을 어느 정도 감소시키는가?
• RQ5 정체성 겹침이 없는 다양한 UDA re-ID 벤치마크에서 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 다양한 비지도 인물 재식별 벤치마크에서 기존 최신 기술 수준의 접근법을 초월한다.
• 관계 일관성 정규화 도입으로 타겟 도메인 내에서 더 신뢰할 수 있고 구별력 있는 의사 레이블이 생성된다.
• 제안된 정규화를 사용하여 특징 인코더와 번역 모듈을 함께 최적화함으로써 모델의 일반화 성능이 향상된다.
• Market-1501, DukeMTMC-reID, MSMT17와 같은 표준 UDA re-ID 벤치마크에서 뚜렷한 성능 향상이 이루어진다.
• 제거 분석 결과, 관계 일관성 정규화가 번역 품질 향상과 후행 re-ID 정확도 향상에 핵심적인 역할을 한다는 것이 확인된다.
• 프레임워크는 개방 집합 인물 재식별에서 다양한 도메인 이동 시나리오에 대해 강력한 내성성을 보여준다.