[논문 리뷰] Image-Image Domain Adaptation with Preserved Self-Similarity and Domain-Dissimilarity for Person Re-identification

Weijian Deng, Liang Zheng외 4명|arXiv (Cornell University)|2017. 11. 19.

Video Surveillance and Tracking Methods참고 문헌 39인용 수 53

한 줄 요약

논문은 SPGAN을 제안하는데, 이것은 유사성 보존 이미지-대-이미지 번역 프레임워크이며 CycleGAN과 결합하여 소스 도메인 이미지를 번역하면서 아이덴티티 정보를 유지하고 번역된 이미지가 대상 ID와 다르게 되도록 하여 사람 re-ID의 비지도 도메인 적응을 개선한다.

ABSTRACT

Person re-identification (re-ID) models trained on one domain often fail to generalize well to another. In our attempt, we present a "learning via translation" framework. In the baseline, we translate the labeled images from source to target domain in an unsupervised manner. We then train re-ID models with the translated images by supervised methods. Yet, being an essential part of this framework, unsupervised image-image translation suffers from the information loss of source-domain labels during translation. Our motivation is two-fold. First, for each image, the discriminative cues contained in its ID label should be maintained after translation. Second, given the fact that two domains have entirely different persons, a translated image should be dissimilar to any of the target IDs. To this end, we propose to preserve two types of unsupervised similarities, 1) self-similarity of an image before and after translation, and 2) domain-dissimilarity of a translated source image and a target image. Both constraints are implemented in the similarity preserving generative adversarial network (SPGAN) which consists of an Siamese network and a CycleGAN. Through domain adaptation experiment, we show that images generated by SPGAN are more suitable for domain adaptation and yield consistent and competitive re-ID accuracy on two large-scale datasets.

연구 동기 및 목표

• person re-ID에서 라벨이 있는 소스 데이터셋과 라벨이 없는 대상 데이터셋 간의 도메인 시차를 해결한다.
• 타깃 도메인에서 효과적인 감독 학습을 가능하게 하도록 이미지-대-이미지 변환 중 기본 아이덴티티 정보를 보존한다.
• 도메인 간 ID 일관성을 유지하기 위해 self-similarity 및 도메인-비유사성 제약을 도입한다.
• SPGAN이 표준 CycleGAN보다 도메인 적응에 더 적합한 번역 샘플을 생성함을 입증한다.
• 대규모 데이터셋(Market-1501 및 DukeMTMC-reID)에서 re-ID 정확도가 향상되었음을 실증한다.

제안 방법

• CycleGAN과 Siamese 네트워크(SiaNet)를 결합하여 아이덴티티 보존 번역을 강제한다.
• 대조 손실을 사용하여 번역된 이미지 쌍을 원본 소스와의 쪽으로 당기고(self-similarity) 대상 도메인 이미지와는 멀어지게 한다(도메인-비유사성).
• 양의 쌍을 번역된 소스 이미지와 그 원래 소스 대비, 번역된 타깃 이미지와 그 원래 타깃으로 정의하고; 음의 쌍은 번역된 이미지와 다른 도메인의 이미지로 정의한다.
• 전체 SPGAN 목적 L_sp = L_Tadv + L_Sadv + λ1 L_cyc + λ2 L_ide + λ3 L_con를 통합한다.
• 타깃 도메인 아이덴티티 제약 L_ide를 적용하여 번역을 규제하고 색상/콘텐츠 단서를 보존한다.
• 테스트 중 특징에 로컬 맥스 풀링(LMP) 전략을 적용하여 re-ID 서술자의 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 비지도 이미지-이미지 변환이 대상 도메인에서 감독 학습을 위해 소스 도메인 아이덴티티를 보존하는 타깃 도메인 샘플을 생성할 수 있는가?
• RQ2 self-similarity 및 도메인-비유사성 제약이 사람 re-ID의 도메인 적응을 위한 번역 이미지의 품질을 향상시키는가?
• RQ3 교차 도메인 re-ID 성능에서 SPGAN이 CycleGAN 및 직접 전이에 비해 어떤가?
• RQ4 대조 손실 여백 m과 L_con, L_ide, 및 L_cyc 가중치가 re-ID 정확도에 미치는 영향은 무엇인가?
• RQ5 Local Max Pooling (LMP)이 도메인 적응 re-ID의 성능을 추가로 향상시키는가?

주요 결과

• SPGAN은 DukeMTMC-reID 및 Market-1501에서 CycleGAN 기본선 대비 교차 도메인 re-ID 정확도를 지속적으로 향상시킨다.
• m = 2와 SPGAN에서 DukeMTMC-reID의 rank-1은 41.1%, Market-1501은 51.5%(LMP 전)로 상승한다.
• m = 2 및 LMP를 적용한 SPGAN은 DukeMTMC-reID에서 rank-1 46.9% 및 mAP 26.4%를, Market-1501에서 rank-1 58.1% 및 mAP 26.9%를 달성했다.
• SPGAN+LMP는 여러 지표(Rank-1, Rank-5, Rank-10, Rank-20, mAP)에서 Direct Transfer 및 CycleGAN 변형보다 우수하다.
• SPGAN은 Market-1501 및 DukeMTMC-reID에서 단일 질의 및 다중 질의 설정에서 최첨단 비지도 방법 대비 경쟁력 있는 또는 우수한 성능을 보여준다.
• 번역 과정에서 아이덴티티 정보를 보존하는 것이 감독 학습을 위한 더 나은 도메인 적응 샘플을 산출한다는 것을 확인한다.