[논문 리뷰] Cross-Resolution Adversarial Dual Network for Person Re-Identification and Beyond

Yu-Jhe Li, Yunchun Chen외 2명|arXiv (Cornell University)|2020. 02. 19.

Video Surveillance and Tracking Methods참고 문헌 70인용 수 18

한 줄 요약

이 논문은 종단간 생성적 적대적 학습을 통해 저해상도 인물 재식별(re-ID) 이미지에서 고해상도 세부 정보를 복구하고 해상도에 영향을 받지 않는 표현을 학습하는 크로스해상도 적대적 듀얼 네트워크인 CAD-Net++를 제안한다. 이 모델은 다섯 개인물 재식별 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 예측되지 않은 해상도 및 크로스해상도 차량 재식별 작업으로의 일반화 능력도 효과적으로 보여준다.

ABSTRACT

Person re-identification (re-ID) aims at matching images of the same person across camera views. Due to varying distances between cameras and persons of interest, resolution mismatch can be expected, which would degrade re-ID performance in real-world scenarios. To overcome this problem, we propose a novel generative adversarial network to address cross-resolution person re-ID, allowing query images with varying resolutions. By advancing adversarial learning techniques, our proposed model learns resolution-invariant image representations while being able to recover the missing details in low-resolution input images. The resulting features can be jointly applied for improving re-ID performance due to preserving resolution invariance and recovering re-ID oriented discriminative details. Extensive experimental results on five standard person re-ID benchmarks confirm the effectiveness of our method and the superiority over the state-of-the-art approaches, especially when the input resolutions are not seen during training. Furthermore, the experimental results on two vehicle re-ID benchmarks also confirm the generalization of our model on cross-resolution visual tasks. The extensions of semi-supervised settings further support the use of our proposed approach to real-world scenarios and applications.

연구 동기 및 목표

• 질의 이미지가 일반적으로 저해상도인 데 반해 갤러리 이미지는 고해상도인 인물 재식별에서의 해상도 불일치 문제를 해결하기 위해.
• 사전 정의된 업샘플링 비율이 필요하고, 예측되지 않은 또는 변동성이 있는 해상도에서는 실패하는 기존 슈퍼해상도 기반 재식별 방법의 한계를 극복하기 위해.
• 해상도에 영향을 받지 않는 특징과 재식별에 유용한 고해상도 세부 정보를 동시에 학습하는 종단간 훈련 가능한 모델을 개발하기 위해.
• 제안된 방법이 인물 재식별을 넘어서 다른 크로스해상도 시각 작업, 예를 들어 차량 재식별과 같은 분야로 일반화될 수 있음을 입증하기 위해.
• 제한된 레이블 데이터를 가진 실세계 배포 시나리오를 지원하기 위해 반감독 학습 설정으로 모델을 확장하기 위해.

제안 방법

• 특징 맵에서 다중 척도 적대적 훈련을 통해 해상도에 영향을 받지 않는 표현을 학습하는 새로운 크로스해상도 생성적 적대적 네트워크(CRGAN)를 제안한다.
• 다양한 특징 수준에서 다중 척도 적대적 손실을 통합하여 고해상도 및 저해상도 특징의 분포를 정렬함으로써, 강인성과 일관성을 향상시킨다.
• 슈퍼해상도 과정에서 신원 관련 세부 정보를 유지하기 위해 복원 손실을 활용하여 생성된 고해상도 이미지가 재식별에 유용한 특징을 갖도록 보장한다.
• 이미지 수준과 특징 수준의 적대적 훈련을 위한 별도의 디스커미네이터를 갖춘 듀얼 스트림 아키텍처를 사용하여, 이미지 품질과 특징의 판별 능력을 동시에 최적화한다.
• 복원 손실, 이미지 수준 적대적 손실, 다중 척도 특징 수준 적대적 손실을 조합한 총 손실을 사용하여 전체 네트워크를 종단간으로 훈련시킨다.
• 훈련된 모델을 활용해, 예측되지 않은 해상도를 포함한 어떤 입력 해상도에서도 해상도에 특화된 모델이 필요 없이 고품질의 재식별 최적화 고해상도 이미지를 생성할 수 있다.

실험 결과

연구 질문

• RQ1 사전에 해상도에 특화된 슈퍼해상도 모델이 필요 없이, 하나의 딥러닝 모델이 다양한 예측되지 않은 입력 해상도에서 인물 재식별을 효과적으로 수행할 수 있는가?
• RQ2 다양한 특징 척도에서의 적대적 학습이 해상도 불일치 상황에서 재식별 특징의 강인성과 판별 능력을 얼마나 향상시키는가?
• RQ3 생성 모델링을 통한 재식별에 유용한 고해상도 세부 정보 복구가 크로스해상도 재식별에서 측정 가능한 성능 향상으로 이어지는가?
• RQ4 제안된 방법이 인물 재식별을 넘어서 다른 크로스해상도 시각 인식 작업, 예를 들어 차량 재식별과 같은 분야로 일반화될 수 있는가?
• RQ5 반감독 학습 설정에서 모델의 성능는 어떠한가? 그리고 레이블이 제한된 상황에서 기존 방법보다도 우월한 성능 유지를 유지하는가?

주요 결과

• CAD-Net++는 Market-1501, DukeMTMC-reID, CUHK03, MSMT17, CUHK03-MLR를 포함한 다섯 개인물 재식별 표준 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 특히 예측되지 않은 해상도가 포함된 크로스해상도 설정에서 뛰어난 성능을 보였다.
• 훈련 중에 볼 수 없었던 해상도 r=8인 MLR-CUHK03 벤치마크에서 CAD-Net++는 7개 중 6개의 정확한 매칭을 달성했으며, 동일한 설정에서 SING(1/7)과 CSR-GAN(6/7)에 비해 뚜렷한 성능 우위를 보였다.
• 차량 재식별에서, CAD-Net++는 예측되지 않은 해상도 질의(r=8)에서 7개 중 6개의 정확한 매칭을 기록했으며, SING와 CSR-GAN은 각각 2개와 3개의 정확한 매칭을 기록했다.
• 특히 복원 손실과 적대적 손실이 균형을 이루는 경우(λ_rec = 1, λ_adv^D_F = 1, λ_adv^D_I = 1)에 하이퍼파rameter 값의 넓은 범위에서 안정적인 성능 유지를 유지하여, 하이퍼파rameter 조정에 대한 강인성을 입증했다.
• 민감도 분석 결과, 적대적 손실이나 복원 손실이 총 손실에서 지배적인 경우 성능 저하가 심하게 발생함을 확인하여, 균형 잡힌 손실 가중치 설정의 중요성을 입증했다.
• 반감독 재식별 설정으로의 일반화 능력이 뛰어나, 레이블이 제한된 실세계 시나리오에서의 강력한 실용적 적용 가능성을 보여주었다.