[논문 리뷰] Structured Domain Adaptation with Online Relation Regularization for Unsupervised Person Re-ID

Yixiao Ge, Feng Zhu외 4명|arXiv (Cornell University)|2020. 03. 14.

Video Surveillance and Tracking Methods인용 수 10

한 줄 요약

이 논문은 비지도(person re-identification)에서 도메인 간 특성 유사도를 유지하면서 이미지 간 번역 과정에서 상대적 특징 유사도를 보존하는 온라인 관계-일致성 정규화를 포함한 구조적 도메인 적응 프레임워크를 제안한다. 이 방법은 도메인 번역 성능을 향상시켜, 가짜 레이블 학습을 강화하는 더 일관되고 신원을 유지하는 번역 이미지를 생성한다. 제안된 방법은 시험 결과에서 SOTA 성능을 기록하여 VisDA-2020 경연에서 2위를 차지하였다.

ABSTRACT

Unsupervised domain adaptation (UDA) aims at adapting the model trained on a labeled source-domain dataset to an unlabeled target-domain dataset. The task of UDA on open-set person re-identification (re-ID) is even more challenging as the identities (classes) do not have overlap between the two domains. One major research direction was based on domain translation, which, however, has fallen out of favor in recent years due to inferior performance compared to pseudo-label-based methods. We argue that the domain translation has great potential on exploiting the valuable source-domain data but existing methods did not provide proper regularization on the translation process. Specifically, previous methods only focus on maintaining the identities of the translated images while ignoring the inter-sample relations during translation. To tackle the challenges, we propose an end-to-end structured domain adaptation framework with an online relation-consistency regularization term. During training, the person feature encoder is optimized to model inter-sample relations on-the-fly for supervising relation-consistency domain translation, which in turn, improves the encoder with informative translated images. The encoder can be further improved with pseudo labels, where the source-to-target translated images with ground-truth identities and target-domain images with pseudo identities are jointly used for training. In the experiments, our proposed framework is shown to achieve state-of-the-art performance on multiple UDA tasks of person re-ID. With the synthetic-to-real translated images from our structured domain-translation network, we achieved second place in the Visual Domain Adaptation Challenge (VisDA) in 2020.

연구 동기 및 목표

• 원천 도메인과 타겟 도메인이 신원 겹침이 없는 개방형 도메인 환경에서 비지도 도메인 적응 문제를 해결하기 위해.
• 신원 기반 제약 조건을 초월하여 잠재 특징 공간 내 상대적 의미적 관계를 유지함으로써 도메인 번역 방법을 향상시키기 위해.
• 온라인 관계 정규화를 사용하여 도메인 번역 네트워크와 재식별 인코더를 동시에 최적화하는 엔드 투 엔드 프레임워크를 개발하기 위해.
• 가짜 레이블 기반 학습을 위한 타겟 도메인에서 더 유용하고 신원 일관성을 유지하는 번역 이미지를 생성하기 위해.
• 기본 UDA 벤치마크와 VisDA-2020 경연 모두에서 일반화 능력과 효과성을 입증하기 위해.

제안 방법

• 원천 도메인 이미지를 타겟 도메인 스타일로 변환하면서도 상대적 특징 관계를 유지하는 구조적 도메인 번역(SDT) 네트워크를 도입한다.
• 원천 이미지와 그 번역 결과물의 특징 임bedding 간 유사도 유지 조건을 강제하는 온라인 관계-일치성 정규화 항목을 적용한다.
• 원천 도메인과 타겟 도메인 각각에 대한 이중 인코더 구조를 사용하며, 번역 과정 중 타겟 인코더가 동적 관계 감독을 제공한다.
• 유사한 샘플이 번역 후 잠재 공간 내에서도 가까이 유지되도록 유도하는 대비 유사도 기반 목적 함수를 통해 관계-일치성 손실를 적용한다.
• 실제 레이블이 부여된 원천 이미지와 가짜 레이블이 부여된 타겟 이미지를 모두 사용하여 도메인 번역 네트워크와 재식별 인코더를 공동으로 학습시킨다.
• 이중 단계 학습 파이프라인을 활용한다: 먼저 인코더를 별도로 사전 학습하고, 이후 온라인 관계 정규화를 적용한 SDT 네트워크를 공동으로 학습시킨다.

실험 결과

연구 질문

• RQ1 도메인 번역 과정에서 상대적 특징 관계를 유지함으로써 비지도 재식별 성능 향상이 가능할까?
• RQ2 신원 기반 정규화에 비해 온라인 관계-일치성 정규화가 더 의미적으로 일관된 번역 이미지를 생성할 수 있을까?
• RQ3 관계 정규화를 통한 구조적 도메인 번역이 가짜 레이블 기반 재식별 모델 학습에 더 효과적인 학습 샘플을 생성할 수 있을까?
• RQ4 기본 UDA 벤치마크에서 최신의 가짜 레이블 기반 및 도메인 번역 기반 접근법과 비교해 본다면 제안된 방법은 어떻게 성능을 내는가?
• RQ5 실세계 도메인 이동 과제, 예를 들어 VisDA-2020의 합성-실세계 적응 과제에 대해 이 방법은 얼마나 잘 일반화되는가?

주요 결과

• 제안된 구조적 도메인 적응 프레임워크에 온라인 관계-일치성 정규화를 적용한 결과, SDT 네트워크가 생성한 합성-실세계 이미지로 학습한 결과, VisDA-2020 검증 세트에서 mAP 71.2%를 기록하였다.
• 이 성능는 SPGAN에 의해 번역된 이미지로 학습한 경우(68.2% mAP)보다 유의미하게 높았으며, 관계-일치성 정규화의 효과를 입증하였다.
• VisDA-2020 경연에서 153개 팀 중 2위를 차지하여, 실제 도메인 이동 상황에서의 강건성과 일반화 능력을 확인하였다.
• 시각화 결과, CycleGAN과 SPGAN와 달리 SDT 네트워크가 동일 신원의 이미지 간 일관된 외관과 상대적 관계를 더 잘 유지하고 있음을 확인하였다.
• 절단 실험 결과, 기준 번역 방법보다 SDT가 생성한 이미지가 더 강력한 감독 신호를 제공하며, 특히 조명 및 스타일 변화에 대응하는 데 뛰어난 성능을 보였다.
• 온라인 관계 정규화를 통한 공동 학습 기반은 더 안정적이고 정보량이 풍부한 특징 학습을 이끌어내어 도메인 정렬 및 신원 식별 성능을 모두 향상시켰다.