[논문 리뷰] Adversarial Camera Alignment Network for Unsupervised Cross-camera Person Re-identification

Lei Qi, Lei Wang외 4명|arXiv (Cornell University)|2019. 08. 02.

Video Surveillance and Tracking Methods참고 문헌 59인용 수 8

한 줄 요약

이 논문은 다중 카메라 간 특징을 다중 카메라 적대적 학습을 통해 정렬하기 위해 내부 카메라 레이블만을 사용하는 비지도 교차카메라 인식을 위한 적대적 카메라 정렬 네트워크(ACAN)를 제안한다. 이 방법은 다중 도메인 정렬에서 기존의 기울기 반전층(GRL)보다 우수한 성능을 보이는 새로운 '다른 카메라 등확률'(OCE) 기반으로 최신 기술 수준(SOTA) 성능을 달성한다. 이는 다섯 개의 벤치마크 데이터셋에서 입증되었다.

ABSTRACT

In person re-identification (Re-ID), supervised methods usually need a large amount of expensive label information, while unsupervised ones are still unable to deliver satisfactory identification performance. In this paper, we introduce a novel person Re-ID task called unsupervised cross-camera person Re-ID, which only needs the within-camera (intra-camera) label information but not cross-camera (inter-camera) labels which are more expensive to obtain. In real-world applications, the intra-camera label information can be easily captured by tracking algorithms or few manual annotations. In this situation, the main challenge becomes the distribution discrepancy across different camera views, caused by the various body pose, occlusion, image resolution, illumination conditions, and background noises in different cameras. To address this situation, we propose a novel Adversarial Camera Alignment Network (ACAN) for unsupervised cross-camera person Re-ID. It consists of the camera-alignment task and the supervised within-camera learning task. To achieve the camera alignment, we develop a Multi-Camera Adversarial Learning (MCAL) to map images of different cameras into a shared subspace. Particularly, we investigate two different schemes, including the existing GRL (i.e., gradient reversal layer) scheme and the proposed scheme called "other camera equiprobability" (OCE), to conduct the multi-camera adversarial task. Based on this shared subspace, we then leverage the within-camera labels to train the network. Extensive experiments on five large-scale datasets demonstrate the superiority of ACAN over multiple state-of-the-art unsupervised methods that take advantage of labeled source domains and generated images by GAN-based models. In particular, we verify that the proposed multi-camera adversarial task does contribute to the significant improvement.

연구 동기 및 목표

• 인식에서 교차 카메라 레이블의 높은 비용 문제를 해결하기 위해, 내부 카메라 레이블만을 사용하는 새로운 비지도 설정을 제안한다.
• 자세, 조명, 해상도 변화로 인한 교차 카메라 도메인 이탈을 외부 레이블 데이터에 의존하지 않고 줄인다.
• 다양한 카메라에서 유도된 특징를 공유된 부분공간으로 정렬하는 다중 카메라 적대적 학습 프레임워크를 개발한다.
• 다중 도메인 정렬에서 GRL과 새로운 OCE 기반의 성능을 비교한다.
• 특정 카메라에서 일부 정체성만 촬영되는 현실적인 데이터 부족 조건에서도 방법의 강건성을 검증한다.

제안 방법

• 내부 카메라 레이블을 기반으로 카메라 정렬과 함께 카메라 내 분류 학습을 동시에 수행하는 적대적 카메라 정렬 네트워크(ACAN)를 제안한다.
• 다양한 카메라에서 온 이미지를 공유된 특징 공간으로 매핑하기 위해 도메인 혼동을 이용한 다중 카메라 적대적 학습(MCAL)을 도입한다.
• MCAL에 대해 두 가지 전략을 적용: 표준 GRL 기반 방법과 다중 도메인 처리에 더 효과적인 새로운 OCE(다른 카메라 등확률) 기반 기법.
• OCE 기반 기법은 한 카메라에서 유도된 특징가 다른 모든 카메라의 특징과 구별되지 않도록 강제하여 더 균형 잡힌 도메인 정렬을 촉진한다.
• 특징 추출을 위해 ResNet50을 백본으로 사용하고, t-SNE 시각화를 통해 카메라 간 분포 불일치를 확인한다.
• 분류를 위한 내부 카메라 레이블과 도메인 정렬을 위한 적대적 손실을 사용하여 모델을 훈련하며, 엔드 투 엔드 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 교차 카메라 애너테이션 없이 내부 카메라 레이블만을 사용하는 인식 모델이 높은 성능을 달성할 수 있는가?
• RQ2 다중 카메라 적대적 학습이 다양한 카메라 시점 간 도메인 이탈을 얼마나 효과적으로 줄이는가?
• RQ3 제안된 OCE 기반 기법이 두 개 이상의 카메라에서 특징를 정렬하는 데 GRL보다 우수한가?
• RQ4 특정 카메라에서 일부 정체성만 촬영되는 경우, 방법의 강건성은 어떠한가?
• RQ5 제안된 방법이 많은 카메라와 다양한 촬영 조건을 가진 대규모 데이터셋으로 일반화 가능한가?

주요 결과

• Market1501에서 ACAN-OCE는 47.7% mAP와 72.2% Rank-1 성능을 기록하여 원래 훈련 설정 하에서 베이스라인을 초월했다.
• 'single-25' 설정(한 카메라에서만 25%의 정체성만 촬영됨)에서 ACAN-OCE는 38.4% mAP와 62.6% Rank-1 성능을 기록하여 데이터 부족 상황에서도 뛰어난 강건성을 보였다.
• 모든 데이터셋에서 OCE 기반 기법이 GRL 대비 일관되게 정렬 성능을 향상시켰으며, 특히 도메인 복잡도가 높은 다중 카메라 환경에서 두드러진 성능 향상을 보였다.
• 더 많은 카메라를 포함한 대규모 MSMT17 데이터셋에서 ACAN은 강력한 일반화 능력을 보이며, 소규모 벤치마크를 초월한 확장성을 확인했다.
• 제거 실험 결과, 다중 카메라 적대적 학습 구성 요소가 성능 향상에 크게 기여함을 확인하였으며, 이는 설계의 타당성을 뒷받침한다.
• GAN 기반 허위 레이블이나 외부 소스 도메인에 의존하는 다수의 최신 기술 수준 비지도 Re-ID 방법들보다 성능이 뛰어나다.