[논문 리뷰] Unlabeled Samples Generated by GAN Improve the Person Re-identification Baseline in vitro

Zhedong Zheng, Liang Zheng외 1명|arXiv (Cornell University)|2017. 01. 26.

Video Surveillance and Tracking Methods참고 문헌 42인용 수 204

한 줄 요약

본 논문은 LSRO를 제안합니다. GAN으로 생성된 무라벨 이미지를 실제 학습 데이터와 통합하여 추가 데이터 수집 없이 인물 재식별용 CNN 임베딩을 개선하는 반지도 학습 정규화입니다.

ABSTRACT

The main contribution of this paper is a simple semi-supervised pipeline that only uses the original training set without collecting extra data. It is challenging in 1) how to obtain more training data only from the training set and 2) how to use the newly generated data. In this work, the generative adversarial network (GAN) is used to generate unlabeled samples. We propose the label smoothing regularization for outliers (LSRO). This method assigns a uniform label distribution to the unlabeled images, which regularizes the supervised model and improves the baseline. We verify the proposed method on a practical problem: person re-identification (re-ID). This task aims to retrieve a query person from other cameras. We adopt the deep convolutional generative adversarial network (DCGAN) for sample generation, and a baseline convolutional neural network (CNN) for representation learning. Experiments show that adding the GAN-generated data effectively improves the discriminative ability of learned CNN embeddings. On three large-scale datasets, Market-1501, CUHK03 and DukeMTMC-reID, we obtain +4.37%, +1.6% and +2.46% improvement in rank-1 precision over the baseline CNN, respectively. We additionally apply the proposed method to fine-grained bird recognition and achieve a +0.6% improvement over a strong baseline. The code is available at https://github.com/layumi/Person-reID_GAN.

연구 동기 및 목표

• 원래의 학습 세트에 GAN 생성 무라벨 데이터를 보충하는 것만으로 인물 재식별 성능을 향상시키려는 동기를 부여합니다.
• 명시적 라벨을 할당하지 않고 CNN 학습 파이프라인에서 무라벨 GAN 샘플을 다루는 정규화 방법(LSRO)을 도입합니다.
• Market-1501, CUHK03, DukeMTMC-reID 데이터셋에서 CNN 기본선 대비 일관된 향상을 입증합니다.
• 일반성 유효성을 검증하기 위해 미세한 구분이 필요한 인식 작업(CUB-200-2011)에 대한 적용 가능성을 보입니다.

제안 방법

• 원래의 re-ID 학습 데이터에서 DCGAN을 훈련시켜 무라벨 보행자 이미지를 생성합니다.
• CNN 학습(ResNet-50) 중 실제 라벨이 있는 데이터와 GAN 생성 무라벨 데이터를 하나의 엔드-투-엔드 파이프라인으로 결합합니다.
• 이상치에 대한 레이블 스무딩 정규화(LSRO)를 적용합니다: GAN 생성 샘플에 대해 모든 기존 클래스에 걸쳐 균일한 레이블 분포를 부여하고, 실제 샘플은 그들의 실제 라벨을 유지합니다.
• 실제(그라운드 트루스) 샘플과 생성된(균일) 라벨 샘플을 구분하는 교차 엔트로피 손실을 사용합니다(두 손실을 Z 플래그를 통해).
• 훈련 아이덴티티 수에 맞게 최종 레이어 크기를 조정하여 ImageNet 사전 학습 네트워크를 미세 조정하여 평가합니다.

실험 결과

연구 질문

• RQ1 GAN 생성 무라벨 샘플을 CNN 기반 재식별 파이프라인에 투입하는 것이 강력한 기준선 대비 rank-1 정확도와 mAP를 향상시키나요?
• RQ2 이 맥락에서 LSRO가 무라벨 GAN 데이터를 다루는 다른 전략들(All in one, Pseudo label)보다 우수한가요?
• RQ3 GAN 생성 이미지 수가 대규모 데이터셋에서 재식별 성능에 어떻게 영향을 미치나요?
• RQ4 GAN 생성 샘플이 인물 재식별을 넘어 미세한 구분 인식에도 정규화 이점을 제공하나요?

주요 결과

• LSRO를 적용한 GAN 생성 데이터가 Market-1501, CUHK03, DukeMTMC-reID 데이터셋에서 CNN 기본선을 일관되게 향상시킵니다.
• Market-1501에서 GAN 이미지를 추가하면 상당한 이득이 나타납니다(예: 수만 개의 GAN 샘플로 보강할 때 rank-1 및 mAP 개선).
• CUHK03은 Market-1501과 CUHK03에서 학습된 GAN 간의 분포 차이로 인해 작지만 긍정적인 이득을 보입니다.
• DukeMTMC-reID도 측정 가능한 rank-1 및 mAP 개선으로 이점을 얻습니다.
• 실험에서 LSRO는 두 가지 대안 무라벨 데이터 전략(All in one class, Pseudo label)보다 우수합니다.
• LSRO 접근 방식은 미세한 인식 작업(CUB-200-2011)에서도 작지만 일관된 개선을 보입니다.