[논문 리뷰] Progressive Cross-camera Soft-label Learning for Semi-supervised Person Re-identification

Lei Qi, Lei Wang외 3명|arXiv (Cornell University)|2019. 08. 15.

Video Surveillance and Tracking Methods참고 문헌 65인용 수 8

한 줄 요약

이 논문은 사람 재식별을 위한 준지도 학습 프레임워크인 점진적 크로스카메라 소프트 레이블 학습(Progressive Cross-camera Soft-label Learning, PCSL)을 제안한다. 이 방법은 카메라 내 레이블 데이터에서 사람 특징의 유사도 행렬을 이용해 크로스카메라 소프트 레이블을 생성한다. 가중치가 부여된 교차엔트로피 손실과 트리플릿 손실을 번갈아 적용하여 소프트 레이블과 특징 표현을 개선함으로써, 외부 데이터나 GAN으로 생성된 이미지를 사용하지 않고도 다섯 개의 벤치마크에서 지도 학습 방법과 경쟁 가능한 성능을 달성한다. 특히 무지도 학습 기반 방법보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we focus on the semi-supervised person re-identification (Re-ID) case, which only has the intra-camera (within-camera) labels but not inter-camera (cross-camera) labels. In real-world applications, these intra-camera labels can be readily captured by tracking algorithms or few manual annotations, when compared with cross-camera labels. In this case, it is very difficult to explore the relationships between cross-camera persons in the training stage due to the lack of cross-camera label information. To deal with this issue, we propose a novel Progressive Cross-camera Soft-label Learning (PCSL) framework for the semi-supervised person Re-ID task, which can generate cross-camera soft-labels and utilize them to optimize the network. Concretely, we calculate an affinity matrix based on person-level features and adapt them to produce the similarities between cross-camera persons (i.e., cross-camera soft-labels). To exploit these soft-labels to train the network, we investigate the weighted cross-entropy loss and the weighted triplet loss from the classification and discrimination perspectives, respectively. Particularly, the proposed framework alternately generates progressive cross-camera soft-labels and gradually improves feature representations in the whole learning course. Extensive experiments on five large-scale benchmark datasets show that PCSL significantly outperforms the state-of-the-art unsupervised methods that employ labeled source domains or the images generated by the GAN-based models. Furthermore, the proposed method even has a competitive performance with respect to deep supervised Re-ID methods.

연구 동기 및 목표

• 트래킹이나 최소한의 애너테이션으로부터만 카메라 내 레이블이 제공되는 실제 사람 재식별 환경에서 크로스카메라 레이블이 제한된 문제를 해결한다.
• 외부 레이블 기반 영역이나 합성 데이터 없이도 준지도 학습과 완전 지도 학습 간의 성능 격차를 줄이기 위해 잠재적인 크로스카메라 관계를 활용한다.
• 소프트 레이블과 특징 표현을 번갈아 개선하는 점진적 학습 프레임워크를 개발하여 모델의 일반화 능력을 향상시킨다.
• 모호한 크로스카메라 쌍으로 인한 잘못된 양성 예측에 강건한 손실 함수를 설계하여 단일 카메라 샘플의 노이즈에 대응한다.

제안 방법

• 사람 수준의 특징에서 유사도를 추정하기 위해 유사도 행렬을 구성하여 크로스카메라 사람 임베딩 간의 유사도를 기반으로 소프트 레이블 생성을 수행한다.
• 유사도 행렬을 바탕으로 가중치가 부여된 교차엔트로피 손실을 사용하여 분류 성능를 최적화하고, 크로스카메라 정체성 간의 올바른 순서 정렬을 유도한다.
• 가중치가 부여된 트리플릿 손실을 적용하여 카메라 간에 내부 사람 거리의 최소화와 외부 사람 거리의 최대화를 통해 특징의 분리 능력을 향상시킨다.
• 교대로 학습 전략을 구현한다: 먼저 현재 특징에서 소프트 레이블을 생성하고, 이를 바탕으로 네트워크를 재학습함으로써 표현과 레이블 품질을 점진적으로 개선한다.
• 반복적으로 특징 임베딩과 소프트 레이블 신뢰도를 향상시키는 점진적 학습 방식을 도입하여 안정적이고 점진적인 성능 향상을 가능하게 한다.
• 특정 비디오 카메라에만 나타나는 많은 수의 단일 카메라 정체성이 포함된 경우에도 성능을 유지할 수 있도록 강건한 학습 프로토콜을 설계한다.

실험 결과

연구 질문

• RQ1 사람 재식별에서 단지 카메라 내 레이블 데이터만을 사용할 때 크로스카메라 관계를 효과적으로 추론할 수 있는가?
• RQ2 실제 크로스카메라 레이블이 없이도 준지도 학습 환경에서 점진적으로 개선된 소프트 레이블을 통해 특징 표현을 향상시킬 수 있는가?
• RQ3 점진적 소프트 레이블 학습에 가장 효과적인 손실 함수는 무엇인가? 분류 기반(가중치가 부여된 교차엔트로피)인지, 아니면 거리 기반(가중치가 부여된 트리플릿 손실)인지?
• RQ4 단일 카메라 정체성이 높은 비율을 차지할 경우, 제안된 방법의 성능가용성이 어떻게 유지되는가?
• RQ5 외부 데이터셋이나 GAN으로 생성된 이미지를 사용하지 않고도, 완전 지도 학습 기반의 사람 재식별 방법과 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 다섯 개의 대규모 벤치마크에서 PCSL는 Market1501에서 단지 카메라 내 레이블만을 사용하여 mAP 66.9%와 Rank-1 80.1%의 성능을 달성했으며, 최신 무지도 학습 기반 방법을 뛰어넘었다.
• 가중치가 부여된 교차엔트로피를 사용하는 PCSL-C 버전은 200개의 추가 단일 카메라 정체성 조건에서도 Market1501에서 mAP 67.42%와 Rank-1 79.43%의 성능을 기록하여 노이즈가 많은 데이터에 강건함을 입증했다.
• 가중치가 부여된 트리플릿 손실을 사용하는 PCSL-D는 동일한 200개 단일 카메라 정체성 조건에서 mAP 61.74%에 그치며 노이즈에 더 민감한 것으로 나타나, 분류 기반 손실이 더 안정적임을 시사한다.
• 다양한 수의 단일 카메라 정체성이 포함된 다양한 설정에서도 성능가용성이 유지되어, 부족한 크로스카메라 감독에 대한 강건성을 확인했다.
• 제거 실험 결과, 점진적 소프트 레이블 생성과 가중치가 부여된 손실 구성 요소가 성능 향상에 필수적임을 확인했으며, 둘 중 하나를 제거하면 성능이 크게 저하됨을 입증했다.