[논문 리뷰] Unity Style Transfer for Person Re-Identification

Chong Liu, Xiaojun Chang외 1명|arXiv (Cornell University)|2020. 03. 04.

Video Surveillance and Tracking Methods참고 문헌 32인용 수 6

한 줄 요약

이 논문은 레이블 스무딩이 필요 없이 스타일 안정성과 스타일 통합을 보장하는 UnityStyle를 제안한다. 이는 UnityGAN을 사용해 카메라 간 및 카메라 내에서 형태가 안정되고 스타일이 통합된 이미지를 생성함으로써 강력한 특징 학습을 가능하게 한다. 이 방법은 쿼리 및 갤러리 이미지의 스타일을 정렬함으로써 카메라 간 매칭 성능을 향상시키며, 재정렬과 결합했을 때 Market-1501과 DuckMTMC-ReID에서 각각 93.2%와 85.9%의 상위-1 정확도로 최신 기술 수준을 달성한다.

ABSTRACT

Style variation has been a major challenge for person re-identification, which aims to match the same pedestrians across different cameras. Existing works attempted to address this problem with camera-invariant descriptor subspace learning. However, there will be more image artifacts when the difference between the images taken by different cameras is larger. To solve this problem, we propose a UnityStyle adaption method, which can smooth the style disparities within the same camera and across different cameras. Specifically, we firstly create UnityGAN to learn the style changes between cameras, producing shape-stable style-unity images for each camera, which is called UnityStyle images. Meanwhile, we use UnityStyle images to eliminate style differences between different images, which makes a better match between query and gallery. Then, we apply the proposed method to Re-ID models, expecting to obtain more style-robust depth features for querying. We conduct extensive experiments on widely used benchmark datasets to evaluate the performance of the proposed framework, the results of which confirm the superiority of the proposed model.

연구 동기 및 목표

• 카메라 간 및 카메라 내에서의 스타일 변동성으로 인한 매칭 정확도 저하 문제를 해결하기 위해.
• 기존의 GAN 기반 스타일 전이 방법의 한계, 예를 들어 이미지 아티팩트와 여러 개의 CycleGAN 모델을 학습함으로써 발생하는 높은 계산 비용을 극복하기 위해.
• 레이블 스무딩이 필요 없이 훈련 및 추론 시 모두 사용 가능한 고품질의 스타일 통합 이미지를 생성하는 데이터 증강 기법을 개발하기 위해.
• 카메라 수 $C$에 따라 요구되는 모델 수를 $C^2$에서 $C$로 줄여 계산 자원이 제한된 환경에서의 확장성을 향상시키기 위해.
• 내부 카메라 스타일 변동성(예: 일출/일몰 조명 변화 등)에 대한 모델의 강건성 향상과 다양한 카메라 시점 간의 일반화 능력 향상을 위해.

제안 방법

• 다중 깊이 레이어 간의 스킵 연결을 갖춘 GAN 기반 아키텍처인 UnityGAN을 제안하여 구조적 정보를 보존하고 형태가 안정된 스타일 전이 이미지를 생성한다.
• 각 카메라의 이미지 스타일을 통합하는 카메라별 UnityStyle 이미지를 생성하기 위해 UnityGAN을 활용한다.
• 실제 이미지와 UnityStyle 이미지를 결합한 새로운 UnityStyle 데이터 증강 기법을 도입하여 특징의 강건성을 향상시킨다.
• 스타일 전이 과정을 안내하기 위해 스타일 어텐션 모듈을 도입하여 다양한 입력 이미지 간에 일관되고 안정적인 스타일 적응을 보장한다.
• 카메라당 하나의 UnityGAN을 학습시킴으로써 요구되는 모델 수를 $C^2$에서 $C$로 줄여 계산 비용을 크게 낮춘다.
• UnityStyle 이미지가 고품질이므로 노이즈를 유발하지 않으며, 생성된 이미지에 대해 레이블 스무딩 정규화(LSR)가 필요 없음을 확인한다.

실험 결과

연구 질문

• RQ1 통합된 스타일 전이 방법은 아티팩트를 유발하지 않으면서 내부 카메라 및 간섭 카메라 스타일 변동성을 모두 줄일 수 있는가?
• RQ2 UnityGAN은 고해상도이자 형태가 안정된 스타일 전이 이미지를 생성할 수 있으며, 이는 레이블 스무딩 없이 훈련 데이터로 사용 가능한가?
• RQ3 UnityStyle 이미지를 데이터 증강에 활용하면 다양한 카메라 설정에서 일반화 능력과 매칭 정확도가 향상되는가?
• RQ4 제안된 방법은 카메라 수 증가에 따라 효율적으로 확장될 수 있는가? 즉, 요구되는 모델 수를 $C^2$에서 $C$로 줄일 수 있는가?
• RQ5 UnityStyle와 재정렬의 조합이 벤치마크 데이터셋에서 상위-1 정확도와 mAP에 얼마나 기여하는가?

주요 결과

• Market-1501에서 제안된 UnityStyle+RE는 상위-1 정확도 93.2%와 mAP 89.3%를 달성하여 베이스라인 IDE(85.7% 상위-1)를 크게 능가한다.
• DuckMTMC-ReID에서 UnityStyle+RE는 상위-1 정확도 85.9%와 mAP 82.3%를 기록하여 카메라 시점 다양성이 높은 데이터셋에서도 뛰어난 성능을 보였다.
• 절단 분석 결과, UnityGAN, UnityStyle, 재정렬 각 요소가 성능 향상에 점진적으로 기여하며, UnityStyle 이후에 재정렬이 가장 큰 기여를 했다.
• UnityGAN만으로도 Market-1501에서 IDE의 상위-1 정확도를 85.7%에서 89.8%로 향상시켜 고품질 스타일 전이가 특징 학습을 향상시킬 수 있음을 보여준다.
• UnityStyle 도입으로 동일 카메라 및 카메라 간 매칭 정확도가 모두 향상되어 스타일 변동성에 대한 강건성이 향상됨을 확인했다.
• UnityStyle 이미지가 깨끗하고 아티팩트가 없어, 생성된 이미지에 대해 레이블 스무딩 정규화가 필요 없음을 확인했다. 이는 CycleGAN 출력과는 대조적이다.