[논문 리뷰] Camera-aware Proxies for Unsupervised Person Re-Identification

Menglin Wang, Baisheng Lai외 3명|arXiv (Cornell University)|2020. 12. 19.

Video Surveillance and Tracking Methods참고 문헌 38인용 수 8

한 줄 요약

이 논문은 비지도 학습(person re-identification)을 위한 카메라 인식 프록시(Camera-aware Proxies, CAP)를 제안하며, 클러스터를 카메라별로 분할하여 내-ID 변동성을 감소시키고 의사 레이블의 신뢰도를 향상시킨다. 내-카메라 및 간-카메라 대비 학습을 통해 프록시 균형 샘플링을 도입함으로써, CAP는 최신 기준 성능을 달성하여 MSMT17에서 두 번째로 좋은 방법보다 Rank-1이 14.3% 향상되고 mAP가 10.2% 향상되었다.

ABSTRACT

This paper tackles the purely unsupervised person re-identification (Re-ID) problem that requires no annotations. Some previous methods adopt clustering techniques to generate pseudo labels and use the produced labels to train Re-ID models progressively. These methods are relatively simple but effective. However, most clustering-based methods take each cluster as a pseudo identity class, neglecting the large intra-ID variance caused mainly by the change of camera views. To address this issue, we propose to split each single cluster into multiple proxies and each proxy represents the instances coming from the same camera. These camera-aware proxies enable us to deal with large intra-ID variance and generate more reliable pseudo labels for learning. Based on the camera-aware proxies, we design both intra- and inter-camera contrastive learning components for our Re-ID model to effectively learn the ID discrimination ability within and across cameras. Meanwhile, a proxy-balanced sampling strategy is also designed, which facilitates our learning further. Extensive experiments on three large-scale Re-ID datasets show that our proposed approach outperforms most unsupervised methods by a significant margin. Especially, on the challenging MSMT17 dataset, we gain $14.3\%$ Rank-1 and $10.2\%$ mAP improvements when compared to the second place. Code is available at: exttt{https://github.com/Terminator8758/CAP-master}.

연구 동기 및 목표

• 비지도 학습(person re-identification)에서 카메라 시야 변화로 인한 큰 내-ID 변동성을 해결하기 위해.
• 카메라 무관 클러스터를 카메라 인식 프록시로 대체하여 의사 레이블의 신뢰도를 향상시키기 위해.
• 내-카메라 및 간-카메라 양면에서의 대비 학습 구성 요소를 통해 ID 식별력을 향상시키기 위해.
• 학습 안정성과 성능 향상을 향상시키기 위해 프록시 균형 샘플링 전략을 개발하기 위해.
• 인간이 레이블링한 데이터 없이 순수하게 비지도 학습 기반 Re-ID 벤치마크에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 해당 방법은 카메라 무관 클러스터를 여러 카메라 인식 프록시로 분할하며, 각 프록시는 단일 카메라에서 온 인스턴스를 나타낸다.
• 내-카메라 대비 학습 구성 요소를 도입하여, 카메라별 의사 정체성 작업을 통해 모델을 훈련시켜 변동성을 감소시키고 국소적 식별력을 향상시킨다.
• 간-카메라 대비 학습 구성 요소를 설계하여, 서로 다른 카메라 간의 양성 및 하드 음성 프록시를 활용해 전반적인 ID 식별력을 향상시킨다.
• 각 미니배치에 다양한 프록시가 포함되도록 프록시 균형 샘플링 전략을 적용하여, 학습 효율성과 수렴성을 향상시킨다.
• 클러스터링을 통해 의사 레이블을 반복적으로 개선하고, 카메라 인식 프록시에서 대비 손실을 사용해 모델을 종합적으로 업데이트한다.
• 지식 기반 애너테이션 없이 종단 간(end-to-end)으로 자기 지도 학습 방식으로 학습된다.

실험 결과

연구 질문

• RQ1 카메라 인식 프록시는 비지도 학습(person re-identification)에서 카메라 시야 변화로 인한 내-ID 변동성을 줄일 수 있는가?
• RQ2 클러스터를 카메라별 프록시로 분할하면 의사 레이블 품질과 모델 일반화 능력이 어떻게 향상되는가?
• RQ3 레이블이 없는 상황에서 내-카메라 및 간-카메라 대비 학습 구성 요소가 ID 식별력을 얼마나 향상시킬 수 있는가?
• RQ4 프록시 균형 샘플링은 비지도 Re-ID에서 더 안정적이고 효과적인 학습을 이끌어낼 수 있는가?
• RQ5 프록시 기반 학습을 사용하는 순수 비지도 방법이 대규모 벤치마크에서 기존의 UDA 기반 및 비지도 방법을 뛰어넘을 수 있는가?

주요 결과

• MSMT17 데이터셋에서 제안된 방법은 두 번째로 좋은 방법보다 Rank-1 정확도가 14.3% 높고, mAP가 10.2% 높게 성과를 내어 뚜렷한 성능 격차를 보였다.
• Market-1501과 DukeMTMC-reID에서 모든 순수 비지도 기반 모델보다 뛰어나며, Market-1501에서 Rank-1이 3.3% 향상되고 mAP가 6.1% 향상되었다.
• 절단 분석(ablation study)은 내-카메라 및 간-카메라 대비 학습 구성 요소가 성능 향상에 크게 기여하며, 전체 모델이 기반 모델보다 크게 뛰어남을 확인했다.
• t-SNE 시각화 결과, 전체 모델은 특히 도전적인 ID 쌍에 대해 내-ID의 응집도와 간-ID의 분리도를 크게 향상시켰다.
• 어떤 레이블 데이터 없이도, 모든 세 가지 데이터셋에서 비지도 학습과 완전 지도 학습 모델 간의 성능 격차의 80% 이상을 메워냈다.
• 지식 기반 레이블로 훈련했을 때의 상한선은 더 강력한 백본과 어텐션 메커니즘을 사용할 경우 향후 성능 향상 가능성을 보여주었다.