[논문 리뷰] Self-training with progressive augmentation for unsupervised cross-domain person re-identification

Xinyu Zhang, Jiewei Cao외 2명|arXiv (Cornell University)|2019. 07. 31.

Video Surveillance and Tracking Methods참고 문헌 42인용 수 15

한 줄 요약

이 논문은 비지도 학습 환경에서 도메인 간 사람 재식별을 위한 점진적 보조 데이터 증강을 갖춘 자기학습 프레임워크인 PAST를 제안한다. 이 프레임워크는 가상 레이블 품질을 향상시키기 위한 새로운 순위 기반 트리플릿 손실을 사용하는 보수적 단계와 전역 데이터 분포를 활용하기 위한 학습 가능한 분류 헤드를 사용하는 촉진 단계를 번갈아가며 적용하여, 여러 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

Person re-identification (Re-ID) has achieved great improvement with deep learning and a large amount of labelled training data. However, it remains a challenging task for adapting a model trained in a source domain of labelled data to a target domain of only unlabelled data available. In this work, we develop a self-training method with progressive augmentation framework (PAST) to promote the model performance progressively on the target dataset. Specially, our PAST framework consists of two stages, namely, conservative stage and promoting stage. The conservative stage captures the local structure of target-domain data points with triplet-based loss functions, leading to improved feature representations. The promoting stage continuously optimizes the network by appending a changeable classification layer to the last layer of the model, enabling the use of global information about the data distribution. Importantly, we propose a new self-training strategy that progressively augments the model capability by adopting conservative and promoting stages alternately. Furthermore, to improve the reliability of selected triplet samples, we introduce a ranking-based triplet loss in the conservative stage, which is a label-free objective function basing on the similarities between data pairs. Experiments demonstrate that the proposed method achieves state-of-the-art person Re-ID performance under the unsupervised cross-domain setting. Code is available at: https://tinyurl.com/PASTReID

연구 동기 및 목표

• 라벨이 부여된 소스 도메인에서 학습된 모델이 레이블이 없는 타겟 도메인에서 성능이 떨어지는 도메인 이동 문제를 해결한다.
• 도메인 이동으로 인해 가상 레이블 품질이 낮은 초기 학습 단계에서 오류가 누적되는 것을 줄인다.
• 가상 레이블 데이터의 신뢰도를 점진적으로 향상시켜 타겟 도메인에서의 모델 일반화 능력을 향상시킨다.
• 지역적(트리플릿 기반) 및 전역적(분류 기반) 데이터 구조를 번갈아 활용하여 보다 나은 특징 학습을 위한 자기학습 프레임워크를 개발한다.
• 클러스터링 품질에 대한 의존도를 줄이기 위해 레이블이 없는 순위 기반 트리플릿 손실 함수를 도입한다.

제안 방법

• 보수적 단계(지역적 구조 학습)와 촉진적 단계(전역 분포 학습)를 번갈아 적용하는 이중 단계 자기학습 프레임워크를 도입한다.
• 보수적 단계에서는 가상 레이블에 의존하지 않고 유사도 순위 기반으로 양성 및 음성 샘플을 선택하는 새로운 순위 기반 트리플릿 손실(RTL)을 사용한다.
• 촉진적 단계에서는 최종 레이어를 학습 가능한 분류 헤드로 교체하여 클러스터 기반 가상 레이블을 활용한 전역 최적화를 가능하게 한다.
• 보수적 및 촉진적 단계를 번갈아 적용하여 모델의 강건성과 표현 품질을 점진적으로 향상시킨다.
• 클러스터의 조밀도를 제어하고 노이즈를 줄이기 위해 최소 샘플 수 기준(Smin)을 적용한 HDBSCAN을 사용한다.
• 하이퍼파라미터 λ로 조정 가능한 순위 기반 트리플릿 손실(RTL)과 클러스터 기반 트리플릿 손실(CTL)의 가중 조합을 사용하여 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 보수적 및 촉진적 단계를 번갈아 적용하는 점진적 자기학습 전략이 비지도 학습 환경에서 도메인 간 사람 재식별의 모델 일반화 능력을 향상시키는가?
• RQ2 가상 레이블이 신뢰할 수 없는 초기 학습 단계에서, 레이블이 없는 순위 기반 트리플릿 손실(RTL)이 기존의 클러스터 기반 트리플릿 손실(CTL)보다 우수한가?
• RQ3 학습 가능한 분류 헤드를 통해 전역 데이터 분포를 통합할 경우, 단순히 트리플릿 손실에 의존하는 것과 비교해 성능 향상은 어느 정도 이루어지는가?
• RQ4 손실 가중치 λ 및 최소 클러스터 크기 Smin과 같은 하이퍼파라미터에 대해 성능가 얼마나 민감한가?
• RQ5 제안된 프레임워크는 여러 도메인 간 Re-ID 벤치마크에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• PAST 프레임워크는 M→D 벤치마크에서 72.35% Rank-1 및 54.26% mAP를 기록하여 이전 최고 성능 기준을 크게 초월한다.
• C→D 벤치마크에서는 69.88% Rank-1 및 51.79% mAP를 달성하여, 보수적 단계만을 사용한 경우보다 Rank-1에서 4.71% 향상되고 mAP에서 5.21% 향상되었다.
• RTL만을 사용한 보수적 단계는 M→D에서 71.63% Rank-1 및 52.05% mAP를 기록하여 EANet보다 Rank-1에서 3.93% 향상되고 mAP에서 4.05% 향상되었다.
• 최적의 손실 가중치 λ는 0.5이며, 이 값 이외의 경우 성능이 저하됨을 확인하여 RTL과 CTL 간의 균형이 중요한 트레이드오���임을 입증한다.
• Smin = 10으로 설정할 경우 최고의 성능를 기록하였고, Market-1501의 진짜 인스턴스 수(751)에 가장 가까운 가상 식별자 수(625)를 도출하여 클러스터 품질과 완전성 간의 균형을 효과적으로 유지함을 확인하였다.
• 절단 실험 결과, 보수적 및 촉진적 단계를 번갈아 적용하는 것이 필수적임을 입증하였으며, 전체 PAST 프레임워크는 각 단계를 별도로 사용한 경우보다 유의미하게 뛰어난 성능을 기록하였다.