[논문 리뷰] Embedding Transfer with Label Relaxation for Improved Metric Learning

Sung‐Yeon Kim, Dong-Won Kim외 2명|arXiv (Cornell University)|2021. 03. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 56인용 수 5

한 줄 요약

이 논문은 소스 임베딩 공간 내의 쌍별 유사도를 이완된 레이블로 활용하여 타겟 모델을 훈련하는 데 목적이 있는 새로운 임베딩 전이 방법을 제안한다. 이는 이완된 대비 손실을 통해 이루어지며, 상세한 샘플 간 관계를 통합하고 중요한 쌍을 강조함으로써 메트릭 학습 성능을 크게 향상시키고, 모델 크기와 차원 수를 줄이며, 기존 기법들보다 자율학습 및 분류 모델 성능을 향상시킨다.

ABSTRACT

This paper presents a novel method for embedding transfer, a task of transferring knowledge of a learned embedding model to another. Our method exploits pairwise similarities between samples in the source embedding space as the knowledge, and transfers them through a loss used for learning target embedding models. To this end, we design a new loss called relaxed contrastive loss, which employs the pairwise similarities as relaxed labels for inter-sample relations. Our loss provides a rich supervisory signal beyond class equivalence, enables more important pairs to contribute more to training, and imposes no restriction on manifolds of target embedding spaces. Experiments on metric learning benchmarks demonstrate that our method largely improves performance, or reduces sizes and output dimensions of target models effectively. We further show that it can be also used to enhance quality of self-supervised representation and performance of classification models. In all the experiments, our method clearly outperforms existing embedding transfer techniques.

연구 동기 및 목표

• 사전에 훈련된 소스 임베딩 모델의 지식을 타겟 모델로 전이하여 메트릭 학습 성능을 향상시키는 것.
• 모든 샘플을 동일하게 취급하거나 이진 클래스 레이블만 사용하는 기존 임베딩 전이 기법의 한계를 극복하는 것.
• 풍부한 연속적인 쌍별 유사도를 감독 신호로 활용하여 메트릭 학습에서 효과적인 지식 정련을 가능하게 하는 것.
• 성능 손실 없이 타겟 모델 크기와 임베딩 차원을 줄이는 것.
• 자율학습 표현 및 분류 모델을 포함한 다양한 설정에서의 일반성(유니버설리티)을 입증하는 것.

제안 방법

• 소스 공간 내 샘플 간의 쌍별 유사도를 추출하여 소스 임베딩 모델의 지식을 전이한다.
• 이러한 쌍별 유사도를 '이완된 레이블'로 사용하는 이완된 대비 손실을 도입하여 타겟 모델 훈련을 이끌어낸다.
• 유사도 값에 따라 양성 및 음성 쌍 최적화의 강도를 동적으로 조정함으로써 더 중요한 쌍이 더 큰 기여를 하도록 한다.
• 기본 대비 손실과 달리, 타겟 임베딩 공간의 $\ell_2$ 정규화가 필요 없으므로, 임베딩 차원의 더 유연하고 효율적인 사용이 가능하다.
• 표준 훈련 프로토콜과 호환되도록 설계되어, 소스 모델과 동일한 옵티마이저 및 학습률 스케줄을 사용한다.
• 이 방법은 메트릭 학습, 자율학습 표현 학습, 분류를 위한 지식 정련의 세 가지 설정에 적용된다.

Figure 1: Accuracy in Recall@1 on the three standard benchmarks for deep metric learning. All embedding transfer methods adopt Proxy-Anchor (PA) [ 19 ] with 512 dimension as the source model. Our method achieves the state of the art when embedding dimension is 512, and is as competitive as recent me

실험 결과

연구 질문

• RQ1 소스 임베딩 공간 내의 쌍별 유사도가 이진 클래스 레이블보다 더 풍부한 감독 신호로 작용할 수 있는가?
• RQ2 더 의미 있는 의미론적 쌍을 강조함으로써 메트릭 학습에서 타겟 모델 성능이 향상되는가?
• RQ3 이완된 대비 손실이 타겟 임베딩 공간의 다양체를 제약 없이 효과적으로 지식 전이를 수행할 수 있는가?
• RQ4 이 방법을 통해 얼마나 높은 수준의 임베딩 모델 압축이 가능하며, 성능을 유지하거나 향상시킬 수 있는가?
• RQ5 이 방법은 메트릭 학습을 초월하여 자율학습 및 분류 모델 성능을 향상시킬 수 있는가?

주요 결과

• 표준 메트릭 학습 벤치마크에서, 제안된 방법은 512차원 임베딩을 사용하여 기존 전이 기법들을 능가하는 최신 기술 수준의 성능을 달성한다.
• 모델 압축(예: ResNet56에서 ResNet20으로)을 적용할 경우, 성능 손실이 거의 없이 모델 크기와 임베딩 차원을 줄일 수 있다.
• 자율학습에서, 이 방법은 CIFAR-10에서 선형 평가 정확도 93.9, STL-10에서 89.6을 달성하여 PKT와 RKD를 능가한다.
• CIFAR-100에서 ResNet20을 사용한 분류 모델 정련 시, 이 방법은 71.95%의 정확도를 기록하여 CRD와 HKD를 능가한다.
• 모든 평가 설정에서, 메트릭 학습, 자율학습, 분류 모델 모두에서 기존 임베딩 전이 기법들을 일관되게 능가한다.
• 이완된 대비 손실은 $\ell_2$ 정규화가 필요 없이 효과적인 지식 전이를 가능하게 하여, 임베딩 차원의 더 나은 활용을 이끌어낸다.

Figure 2: Gradients of relaxed contrastive loss versus pairwise distance given different weights.