[논문 리뷰] Recover and Identify: A Generative Dual Model for Cross-Resolution Person Re-Identification

Yu-Jhe Li, Yunchun Chen외 3명|arXiv (Cornell University)|2019. 08. 16.

Video Surveillance and Tracking Methods참고 문헌 43인용 수 15

한 줄 요약

이 논문은 저해상도(person re-identification, re-ID) 쿼리에서 고해상도(고해상도) 세부 정보를 복구하면서 해상도에 영향을 받지 않는 특징을 동시에 학습하는 생성형 이중 적대적 네트워크인 CAD-Net을 제안한다. 적대적, 재구성, 분류 손실을 함께 사용하여 엔드 투 엔드로 훈련함으로써 다섯 가지 벤치마크에서 최신 기술 수준의 re-ID 성능을 달성하였으며, 사전에 정의된 확대 요소가 없는 새로운 해상도에서도 특히 뛰어난 성능을 보였다.

ABSTRACT

Person re-identification (re-ID) aims at matching images of the same identity across camera views. Due to varying distances between cameras and persons of interest, resolution mismatch can be expected, which would degrade person re-ID performance in real-world scenarios. To overcome this problem, we propose a novel generative adversarial network to address cross-resolution person re-ID, allowing query images with varying resolutions. By advancing adversarial learning techniques, our proposed model learns resolution-invariant image representations while being able to recover the missing details in low-resolution input images. The resulting features can be jointly applied for improving person re-ID performance due to preserving resolution invariance and recovering re-ID oriented discriminative details. Our experiments on five benchmark datasets confirm the effectiveness of our approach and its superiority over the state-of-the-art methods, especially when the input resolutions are unseen during training.

연구 동기 및 목표

• 쿼리 이미지가 일반적으로 저해상도(LR)이고 갤러리 이미지가 고해상도(HR)인 실세계의 사람 re-identification에서 발생하는 해상도 불일치 문제를 해결한다.
• 사전에 정의된 확대 요소가 필요로 하며 새로운 해상도에서는 실패하는 기존 방법의 한계를 극복한다.
• 동시에 해상도에 영향을 받지 않는 표현을 학습하고, 향상된 re-ID를 위한 분류 가능한 고해상도 세부 정보를 복구하는 통합형 엔드 투 엔드 훈련 가능한 모델을 개발한다.

제안 방법

• 저해상도 입력에서 고해상도 이미지를 생성하는 이중 스트림 생성기와 두 개의 판별기로 구성된 교차 해상도 생성 적대적 네트워크(CRGAN)를 제안한다.
• 세 가지 핵심 손실을 통합한다: 특징 수준의 적대적 손실($\mathcal{L}_{\mathrm{adv}}^{\mathcal{D}_{F}}$)은 해상도에 영향을 받지 않는 특징를 강제로 학습하고, 이미지 수준의 적대적 손실($\mathcal{L}_{\mathrm{adv}}^{\mathcal{D}_{I}}$)은 이미지의 현실성 향상에 기여하며, 재구성 손실($\mathcal{L}_{\mathrm{rec}}$)은 고해상도 세부 정보 유지에 기여한다.
• 분류 손실($\mathcal{L}_{\mathrm{cls}}$)을 사용하여 사람 re-identification을 위한 분류 가능한 특징 학습을 보장한다.
• 전체 모델을 엔드 투 엔드로 훈련하여 이미지 복구와 re-ID 성능을 동시에 최적화한다.
• 평가를 위해 특징 맵에 대해 전역 평균 풀링을 적용하여 해상도에 영향을 받지 않는 임bedding 벡터를 추출한다.

실험 결과

연구 질문

• RQ1 사전에 정의된 확대 요소가 필요 없이 단일 생성 모델이 사람 re-identification을 위한 해상도에 영향을 받지 않는 표현을 효과적으로 학습할 수 있는가?
• RQ2 생성 적대적 네트워크는 저해상도 입력에서 re-ID에 유용한 고해상도 세부 정보를 얼마나 잘 복구할 수 있는가?
• RQ3 이미지 복구와 re-ID를 동시에 최적화하는 것이 순차적 파이프라인보다 성능 향상에 기여하는가?
• RQ4 훈련 중에 볼 수 없었던 저해상도 쿼리의 해상도에 일반화될 수 있는가?
• RQ5 각 손실 구성요소(적대적, 재구성, 분류)가 최종 re-ID 성능에 기여하는 비율은 어떻게 되는가?

주요 결과

• CAD-Net은 MLR-CUHK03 데이터셋에서 랭크-1 정확도 82.1%를 달성하여 최신 기술 수준의 방법들을 능가하였으며, 특히 새로운 해상도에서 뛰어난 성능을 보였다.
• 제거 실험 결과, 특징 수준의 적대적 손실($\mathcal{L}_{\mathrm{adv}}^{\mathcal{D}_{F}}$)을 제거할 경우 랭크-1 정확도가 67.6%로 떨어지며, 이는 해상도에 영향을 받지 않는 특징 학습에 있어 이 손실의 핵심적 역할을 입증한다.
• 재구성 손실($\mathcal{L}_{\mathrm{rec}}$)을 제거할 경우 이미지 품질(PSNR: 12.9)과 re-ID 성능(랭크-1: 66.7%) 모두에 심각한 하락이 발생하여, 세부 정보 복구에 있어 이 손실의 중요성을 확인한다.
• 분류 손실($\mathcal{L}_{\mathrm{cls}}$)을 제거할 경우 re-ID 성능가 거의 0에 가까워지며(랭크-1: 1.7%), 분류 가능한 특징 학습을 위한 필수성은 입증된다.
• 시각화 결과, 동일한 신원이지만 다양한 다운샘플링 비율(포함하여 볼 수 없었던 r=8)을 가진 특징들이 잘 군집되어 있음을 확인하여, 새로운 해상도로의 일반화 능력이 검증되었다.
• MLR-CUHK03 테스트 세트에서 SSIM 0.73, PSNR 20.2로 높은 인지적 품질을 달성하여 고해상도 이미지 생성 능력이 효과적임을 확인하였다.