[논문 리뷰] Crossing Generative Adversarial Networks for Cross-View Person Re-identification

Chengyuan Zhang, Lin Wu외 1명|arXiv (Cornell University)|2018. 01. 04.

Video Surveillance and Tracking Methods참고 문헌 1인용 수 4

한 줄 요약

이 논문은 쌍체의 이미지 쌍에서 동시 발생 패턴을 모델링하여 공동의 불변 특징을 학습하는 새로운 비지도 생성 적대적 네트워크인 Cross-GAN을 제안한다. 변분 자동인코더, 교차 시점 정렬, 이중 GAN을 결합한 방법은 레이블이 없는 이미지 쌍을 요구하지 않으며, VIPeR, CUHK03, Market-1501에서 최신 기술 수준의 성능을 달성하여 시각적 변동에 강건하고 실제 감시 환경에서 뛰어난 일반화 능력을 보여준다.

ABSTRACT

Person re-identification ( extit{re-id}) refers to matching pedestrians across disjoint yet non-overlapping camera views. The most effective way to match these pedestrians undertaking significant visual variations is to seek reliably invariant features that can describe the person of interest faithfully. Most of existing methods are presented in a supervised manner to produce discriminative features by relying on labeled paired images in correspondence. However, annotating pair-wise images is prohibitively expensive in labors, and thus not practical in large-scale networked cameras. Moreover, seeking comparable representations across camera views demands a flexible model to address the complex distributions of images. In this work, we study the co-occurrence statistic patterns between pairs of images, and propose to crossing Generative Adversarial Network (Cross-GAN) for learning a joint distribution for cross-image representations in a unsupervised manner. Given a pair of person images, the proposed model consists of the variational auto-encoder to encode the pair into respective latent variables, a proposed cross-view alignment to reduce the view disparity, and an adversarial layer to seek the joint distribution of latent representations. The learned latent representations are well-aligned to reflect the co-occurrence patterns of paired images. We empirically evaluate the proposed model against challenging datasets, and our results show the importance of joint invariant features in improving matching rates of person re-id with comparison to semi/unsupervised state-of-the-arts.

연구 동기 및 목표

• 감독 학습 기반의 인식에서 높은 레이블링 비용 문제를 해결하기 위해 교차 시점 표현을 비지도 학습으로 가능하게 한다.
• 페어드 학습 데이터에 의존하지 않고 분리된 카메라 시점 간의 복잡한 다중 모달 시각적 변동을 모델링한다.
• 긍정적인 이미지 쌍에서 동시 발생 패턴을 포착하는 공동의 잠재 분포를 학습하여 특징 정렬을 향상시킨다.
• 적대적 학습과 교차 시점 정렬을 통해 불변 특징을 학습하여 인식 정확도를 향상시킨다.
• 레이블이 있는 이미지 대응 관계가 필요 없이 감독 방법과 경쟁 가능한 성능을 달성한다.

제안 방법

• 모델은 변분 자동인코더(VAE)를 사용하여 이미지 쌍을 분리된 잠재 변수로 인코딩하여 교차 시점 특징의 확률적 모델링을 가능하게 한다.
• 다른 카메라 시점 간의 잠재 표현을 정렬함으로써 도메인 이탈을 줄이기 위해 교차 시점 정렬 모듈을 도입한다.
• 이중 생성 적대적 네트워크(GAN)를 사용하여 잠재 표현의 공동 분포를 학습하여 현실적이고 구분력 있는 특징 합성을 장려한다.
• 적대적 학습 목적함수는 생성된 잠재 특징이 실제 특징과 구분되지 않도록 보장하여 시각적 변동에 대한 강건성을 향상시킨다.
• VAE, 정렬 모듈, GAN을 동시에 최적화하여 불변적이고 교차 시점 호환 가능한 특징을 학습한다.
• 모델은 실제 신원 레이블이 없는 이미지 쌍만을 사용하여 비지도 방식으로 훈련된다.

실험 결과

연구 질문

• RQ1 레이블이 없는 이미지 쌍을 요구하지 않고도 생성 모델이 인식을 위한 공동 교차 시점 표현을 학습할 수 있는가?
• RQ2 감독 없이도 제안된 방법이 긍정적인 이미지 쌍 간의 동시 발생 패턴을 얼마나 효과적으로 포착할 수 있는가?
• RQ3 비지도 모델이 감독 기반 최신 기술 수준의 방법과 비교해 얼마나 높은 성능을 달성할 수 있는가?
• RQ4 교차 시점 정렬은 복잡한 시각적 변동 상황에서 특징 정렬과 일반화 능력을 얼마나 향상시키는가?
• RQ5 잠재 표현에 대한 적대적 학습이 제로샷 또는 약한 감독 설정에서 학습된 특징의 구분 능력을 향상시킬 수 있는가?

주요 결과

• VIPeR 데이터셋에서 Cross-GAN은 랭크-1 정확도 49.28%를 달성하여 모든 반/비지도 기반 기준선을 초월하고 감독 기반 최신 기술 수준의 성능에 근접한다.
• CUHK03에서 Cross-GAN은 랭크-1 정확도 83.23%를 기록하여 비지도 방법 중 두 번째로 높은 순위를 차지하며, 반지도 기반 LSRO 방법(84.62%)에 비해 약간 뒤지지 않는다.
• Market-1501에서 Cross-GAN은 비지도 방법 중 두 번째로 높은 성능을 기록하며, 신원 간 높은 시각적 유사성에도 불구하고 강력한 일반화 능력을 보여준다.
• 공동 잠재 분포를 학습함으로써 자세, 조도, 시점 변화와 같은 시각적 변동의 영향을 크게 줄였다.
• 제거 실험 결과 각 구성 요소—VAE, 교차 시점 정렬, GAN—이 최종 성능에 기여하며, 전체 모델이 제거된 변종보다 뛰어난 성능을 보였다.
• CMC 곡선은 Cross-GAN이 세 데이터셋 모두에서 일관된 성능을 유지함을 보여주며, 다양한 감시 환경에서의 강건성과 일반화 능력을 확인한다.