[논문 리뷰] Camera Style Adaptation for Person Re-identification

Zhun Zhong, Liang Zheng외 3명|arXiv (Cornell University)|2017. 11. 28.

Video Surveillance and Tracking Methods참고 문헌 33인용 수 35

한 줄 요약

이 논문은 CycleGAN을 사용하여 다른 카메라 스타일로 훈련 이미지를 전이함으로써 훈련 세트를 증강하고 과적합을 줄이는 카메라 스타일 적응 방법인 CamStyle을 제안한다. 레이블 스무쓰닝 정규화를 통해 최신 기술 수준의 성능을 달성하였으며, Random Erasing과 결합할 경우 Market-1501에서 랭크-1 정확도 89.49%를 기록하였다.

ABSTRACT

Being a cross-camera retrieval task, person re-identification suffers from image style variations caused by different cameras. The art implicitly addresses this problem by learning a camera-invariant descriptor subspace. In this paper, we explicitly consider this challenge by introducing camera style (CamStyle) adaptation. CamStyle can serve as a data augmentation approach that smooths the camera style disparities. Specifically, with CycleGAN, labeled training images can be style-transferred to each camera, and, along with the original training samples, form the augmented training set. This method, while increasing data diversity against over-fitting, also incurs a considerable level of noise. In the effort to alleviate the impact of noise, the label smooth regularization (LSR) is adopted. The vanilla version of our method (without LSR) performs reasonably well on few-camera systems in which over-fitting often occurs. With LSR, we demonstrate consistent improvement in all systems regardless of the extent of over-fitting. We also report competitive accuracy compared with the state of the art.

연구 동기 및 목표

• 모델 일반화 능력을 떨어뜨리는 사람 재식별에서의 카메라 스타일 변동 문제를 해결한다.
• 스타일 전이를 통해 훈련 데이터 다양성을 증가시켜 딥러닝 기반 재식별에서의 과적합을 줄인다.
• 추가적인 인간 주석이 필요 없는 비지도, 카메라 인식 데이터 증강 방법을 개발한다.
• 백본 네트워크를 수정하지 않고도 카메라 고유의 외관 변동에 대해 모델의 강인성을 향상시킨다.

제안 방법

• 각 카메라 쌍에 대해 CycleGAN 모델을 훈련시어 서로 다른 카메라 도메인 간의 이미지 간 스타일 변환을 학습한다.
• 훈련된 CycleGAN 모델을 사용해 실제 훈련 이미지의 스타일을 다른 카메라의 외관으로 전이하여 합성 훈련 샘플을 생성한다.
• 원본 이미지와 스타일 전이된 이미지를 결합하여 증강된 훈련 세트를 구성하며, 전이된 샘플의 레이블은 원본 그대로 유지한다.
• CycleGAN으로 인해 유입된 노이즈를 완화하기 위해 훈련 중 스타일 전이된 샘플에 레이블 스무쓰닝 정규화(LSR)를 적용한다.
• 개선된 훈련 스케줄을 적용한 표준 재식별 베이스라인(IDE)을 사용하고, Random Erasing과 같은 다른 데이터 증강 기법과 CamStyle을 결합한다.
• 증강된 데이터셋에서 끝에서 끝까지 모델을 훈련시켜 카메라에 영향을 받지 않는 특징을 학습한다.

실험 결과

연구 질문

• RQ1 CycleGAN 기반 데이터 증강을 통한 카메라 스타일 적응이 사람 재식별 성능을 향상시킬 수 있는가?
• RQ2 CycleGAN으로 유도된 노이즈가 모델 성능에 영향을 미치며, 이를 효과적으로 완화할 수 있는가?
• RQ3 CamStyle은 소수의 카메라와 전체 카메라 재식별 시스템 모두에서 일관되게 성능 향상을 이끌 수 있는가?
• RQ4 Random 플립 및 크롭 또는 Random Erasing과 같은 다른 데이터 증강 전략과 비교해 CamStyle은 어떻게 성능을 내는가?
• RQ5 CamStyle은 기존의 데이터 증강 기법들과 상호보완적이며 재식별 정확도 향상에 기여하는가?

주요 결과

• 기본 CamStyle 방법은 소수 카메라 시스템에서 17.1%의 성능 향상을 기록하여 과적합을 줄이는 데 강력한 효과를 보였다.
• 레이블 스무쓰닝 정규화(LSR)를 적용하면, 데이터 부족 여부에 관계없이 CamStyle이 일관되게 성능 향상을 이룬다.
• Market-1501 데이터셋에서 CamStyle은 개선된 IDE 베이스라인과 결합하여 랭크-1 정확도 88.12%를 달성하였다.
• 추가로 Random Erasing과 결합할 경우, 최종 모델은 Market-1501에서 랭크-1 정확도 89.49%를 기록하였으며, 대부분의 최신 기술 수준 방법들을 능가하였다.
• DukeMTMC-reID에서 이 방법은 랭크-1 정확도 75.27%를 기록하였으며, 베이스라인 대비 2.96%포인트 향상되었다.
• 이 방법은 다른 데이터 증강 기법들과 상호보완적이며, CamStyle, Random Erasing, 표준 증강(RF+RC)을 모두 조합했을 때 가장 높은 성능을 기록하였다.