[논문 리뷰] Unsupervised Deep Metric Learning via Auxiliary Rotation Loss

Xuefei Cao, Bor-Chun Chen외 1명|arXiv (Cornell University)|2019. 11. 16.

Face recognition and analysis참고 문헌 39인용 수 11

한 줄 요약

이 논문은 메트릭 학습, 군집 기반 가짜 레이블링, 그리고 자기지도 학습 기반 회전 예측 작업을 동시에 최적화하는 새로운 비지도 딥 메트릭 학습 프레임워크인 UDML-SS를 제안한다. 반복적으로 개선되는 군집 할당과 회전 예측을 정규화 요소로 사용함으로써, CUB-200, Cars196, Stanford Online Products에서 최신 기준 성능을 달성하여 이전 방법 대비 최대 +14.6%의 Recall@1 향상을 이룬다.

ABSTRACT

Deep metric learning is an important area due to its applicability to many domains such as image retrieval and person re-identification. The main drawback of such models is the necessity for labeled data. In this work, we propose to generate pseudo-labels for deep metric learning directly from clustering assignment and we introduce unsupervised deep metric learning (UDML) regularized by a self-supervision (SS) task. In particular, we propose to regularize the training process by predicting image rotations. Our method (UDML-SS) jointly learns discriminative embeddings, unsupervised clustering assignments of the embeddings, as well as a self-supervised pretext task. UDML-SS iteratively cluster embeddings using traditional clustering algorithm (e.g., k-means), and sampling training pairs based on the cluster assignment for metric learning, while optimizing self-supervised pretext task in a multi-task fashion. The role of self-supervision is to stabilize the training process and encourages the model to learn meaningful feature representations that are not distorted due to unreliable clustering assignments. The proposed method performs well on standard benchmarks for metric learning, where it outperforms current state-of-the-art approaches by a large margin and it also shows competitive performance with various metric learning loss functions.

연구 동기 및 목표

• 대규모 레이블 데이터가 필요한 비지도 딥 메트릭 학습의 과제를 해결한다.
• 가짜 레이블링에서 신뢰할 수 없는 군집 할당으로 인한 훈련의 불안정성을 줄인다.
• 수동 주석 없이도 특징 표현 품질을 향상시킨다.
• 자기지도 학습을 정규화 요소로 통합하여 훈련을 안정화하고 특징 학습을 향상시킨다.
• 다양한 표준 메트릭 학습 벤치마크에서 최신 기준 성능을 입증한다.

제안 방법

• 딥 특징에 대해 k-means 군집을 적용하여 메트릭 학습에서 양성/음성 쌍 탐색을 위한 가짜 레이블을 생성한다.
• 메트릭 학습 손실과 회전 예측 손실을 조합한 다중 작업 손실을 사용해 딥 신경망을 훈련시킨다.
• 회전 예측을 자기지도 사전 작업으로 활용: 입력 이미지의 0°, 90°, 180°, 270° 회전을 예측한다.
• 각 훈련 에포크 후 업데이트된 특징을 바탕으로 군집 할당을 반복적으로 재계산한다.
• 사전 훈련된 ImageNet 백본에서 가짜 레이블을 초기화하고, 훈련 중에 종단 간 업데이트한다.
• 프레임워크 내에서 표준 메트릭 학습 손실 함수(예: 대비, 트리플릿)를 어떤 것도 지원한다.

실험 결과

연구 질문

• RQ1 군집 기반 가짜 레이블링과 자기지도 학습을 효과적으로 융합하여 비지도 메트릭 학습을 향상시킬 수 있는가?
• RQ2 회전 예측 작업을 추가함으로써 훈련이 안정화되고 노이즈가 많은 군집 할당에 대한 민감도가 감소하는가?
• RQ3 제안된 방법은 표준 벤치마크에서 최신 기준 비지도 메트릭 학습 접근법보다 어떻게 비교되는가?
• RQ4 ImageNet 사전 훈련 없이 무작위 가중치에서 시작해도 이 방법이 강력한 성능을 낼 수 있는가?
• RQ5 임bedding 차원 수나 군집 수와 같은 하이퍼파라미터가 모델 성능에 어떤 영향을 미치는가?

주요 결과

• UDML-SS는 CUB-200-2011에서 최신 기준 성능을 달성하여 이전 최신 기준 방법 [51] 대비 Recall@1이 +8.5% 향상되었다.
• Cars196에서, 이 방법은 가장 강력한 베이스라인 대비 Recall@1이 +3.8% 향상되었다.
• Stanford Online Products에서 UDML-SS는 [51] 대비 Recall@1이 +14.6% 향상되어 강력한 일반화 능력을 입증했다.
• 무작위 초기화된 ResNet18을 사용할 경우, UDML-SS는 제품 데이터셋에서 59.2%의 Recall@1을 기록하여 모든 이전 비지도 방법을 능가했다.
• 이 방법은 다양한 백본 아키텍처에서 우수한 성능을 보였으며, Inception-V2는 감독 기반 다중 유사도 학습에 가까운 성능을 달성했다.
• 최적의 군집 수는 약 100~250이며, k가 500를 초과하면 성능이 저하되어 과적합에 민감한 것을 시사한다.