[논문 리뷰] Pose-Normalized Image Generation for Person Re-identification

Xuelin Qian, Yanwei Fu외 6명|arXiv (Cornell University)|2017. 12. 06.

Video Surveillance and Tracking Methods참고 문헌 46인용 수 28

한 줄 요약

이 논문은 포즈 정규화 GAN(PN-GAN)을 제안하며, 사람 재식별에서 포즈 변동을 완화하기 위해 포즈 정규화된 인체 이미지를 합성하는 조건부 GAN이다. 입력 이미지당 여덟 가지 표준 포즈를 생성함으로써, 원본 특징과 상호보완적인 포즈 불변 특징을 학습할 수 있게 되어 최신 기술 수준의 성능을 달성하며, 추가 트레이닝 없이도 새로운 데이터셋으로의 제로샷 전이가 가능하다.

ABSTRACT

Person Re-identification (re-id) faces two major challenges: the lack of cross-view paired training data and learning discriminative identity-sensitive and view-invariant features in the presence of large pose variations. In this work, we address both problems by proposing a novel deep person image generation model for synthesizing realistic person images conditional on the pose. The model is based on a generative adversarial network (GAN) designed specifically for pose normalization in re-id, thus termed pose-normalization GAN (PN-GAN). With the synthesized images, we can learn a new type of deep re-id feature free of the influence of pose variations. We show that this feature is strong on its own and complementary to features learned with the original images. Importantly, under the transfer learning setting, we show that our model generalizes well to any new re-id dataset without the need for collecting any training data for model fine-tuning. The model thus has the potential to make re-id model truly scalable.

연구 동기 및 목표

• 큰 포즈 변동으로 인해 특징의 구분 능력과 모델의 일반화 능력이 떨어지는 문제를 해결하기 위해.
• 각 카메라 뷰당 광범위한 레이블이 필요한 기존 딥 재식별 모델의 확장성과 일반화 능력의 한계를 극복하기 위해.
• 재트레이닝 또는 파인튜닝 없이도 새로운 데이터셋에 적용 가능한 데이터 효율적이고 이식 가능한 재식별 프레임워크를 개발하기 위해.
• 표준 포즈에서 현실적이고 신원을 유지하는 인체 이미지를 생성하여 포즈 불변 특징 학습을 가능하게 하기 위해.

제안 방법

• 표준 포즈를 갖춘 인체 이미지를 합성하기 위해 조건부 GAN 기반의 이미지 생성 모델인 PN-GAN을 훈련시킨다.
• 입력 이미지와 지정된 표준 포즈(사전 정의된 여덟 가지 중 하나)를 기반으로, 새로운 포즈에서 현실적이고 신원이 일치하는 이미지를 생성한다.
• 신원 속성을 유지하면서 포즈와 외관을 분리하기 위해 VAE 정규화된 GAN 손실을 사용한다.
• 합성된 이미지를 사용하여 포즈 정규화된 재식별 모델을 훈련시켜 포즈 변화에 대해 불변인 특징을 생성한다.
• 원본 이미지의 특징과 포즈 정규화된 이미지의 특징을 결합하여 최종 특징 표현을 만든다.
• 프레임워크는 '플러그 앤 플레이' 방식으로 작동한다: 훈련이 끝난 후에는 추가적인 데이터 수집 없이도 새로운 데이터셋으로 일반화된다.

실험 결과

연구 질문

• RQ1 포즈 정규화된 이미지 생성이 큰 포즈 변동에 대한 딥 재식별 특징의 강건성 향상에 기여하는가?
• RQ2 합성된 포즈 정규화된 이미지로 훈련할 경우, 원본 이미지만 사용하는 것보다 보다 상호보완적이고 더 구분 능력 있는 특징을 얻을 수 있는가?
• RQ3 한 데이터셋(예: Market-1501)에서 훈련된 재식별 모델이 파인튜닝 없이도 새로운, 알려지지 않은 데이터셋(예: CUHK01)으로 효과적으로 전이 가능한가?
• RQ4 여덟 가지의 표준 포즈를 사용할 경우, 생성된 이미지의 품질과 일반화 능력, 그리고 최종 재식별 성능에 어떤 영향을 미치는가?

주요 결과

• CUHK01 데이터셋에서 제안된 방법은 전이 학습 기반으로 67.65%의 Rank-1 정확도와 86.64%의 Rank-5 정확도를 달성하여 ResNet-50-A(TL) 기준선을 능가했다.
• Market-1501에서 전이 학습 기반으로 89.43%의 Rank-1 정확도와 72.58%의 mAP를 기록하여 강력한 일반화 능력을 입증했다.
• 여러 개의 표준 포즈(여덟 개)를 사용할 경우, Market-1501에서 mAP가 69.60%에서 72.58%로 향상되어 다중 포즈 생성이 강건성을 향상시킨다는 것을 확인했다.
• 원본 이미지와 포즈 정규화된 이미지의 특징 융합은 모든 벤치마크에서 일관된 성능 향상을 가져왔으며, 이는 두 특징 간의 상호보완성을 확인한다.
• 모델는 파인튜닝 없이도 새로운 데이터셋으로 일반화되어, CUHK01와 같이 작은 데이터셋에서도 경쟁적인 성능을 기록했다.
• 시각화 결과에서 PN-GAN이 자전거와 같은 가림을 효과적으로 제거하면서도 옷차림과 색상과 같은 핵심 신원 속성을 유지하고 있음을 확인했다.