[논문 리뷰] S2SD: Simultaneous Similarity-based Self-Distillation for Deep Metric Learning

Karsten Roth, Timo Milbich외 3명|arXiv (Cornell University)|2020. 09. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 70인용 수 4

한 줄 요약

S2SD는 테스트 시간 비용을 증가시키지 않으면서 일반화 성능을 향상시키기 위해 고차원 보조 임베딩 공간을 동시에 학습하고, 그 유사성 지식을 저차원 기반 임베딩에 자기-다른 학습(self-distillation) 방식으로 전달하는 혁신적인 자기-다른 학습 프레임워크를 제안한다. 이 방법은 표준 벤치마크에서 Recall@1 기준 최대 7%의 상대적 향상을 달성하며, 훈련 오버헤드가 최소한이면서도 새로운 최고의 성능을 기록한다.

ABSTRACT

Deep Metric Learning (DML) provides a crucial tool for visual similarity and zero-shot applications by learning generalizing embedding spaces, although recent work in DML has shown strong performance saturation across training objectives. However, generalization capacity is known to scale with the embedding space dimensionality. Unfortunately, high dimensional embeddings also create higher retrieval cost for downstream applications. To remedy this, we propose \emph{Simultaneous Similarity-based Self-distillation (S2SD). S2SD extends DML with knowledge distillation from auxiliary, high-dimensional embedding and feature spaces to leverage complementary context during training while retaining test-time cost and with negligible changes to the training time. Experiments and ablations across different objectives and standard benchmarks show S2SD offers notable improvements of up to 7% in Recall@1, while also setting a new state-of-the-art. Code available at https://github.com/MLforHealth/S2SD.

연구 동기 및 목표

• 높은 모델 용량에도 불구하고 성능 포화 현상이 발생하는 딥 메트릭 학습 문제를 해결하기 위해.
• 테스트 시간 검색 비용을 증가시키지 않고 저차원 임베딩 공간의 일반화 성능을 향상시키기 위해.
• 외부 교사 모델이 필요 없이 고차원 보조 표현을 활용해 지식 전이를 수행하기 위해.
• 보조 모델 성능을 향상시키기 위해 보다 유사한 맥락을 제공하는 고차원 특징에서 유래한 보완 정보를 활용하는 효율적인 단계별 훈련을 가능하게 하기 위해.
• 표현 학습의 향상을 위해 다중 척도 자기-다른 학습과 계층적 지식 전이를 탐색하기 위해.

제안 방법

• 공유된 특징 기반을 사용하여 기반 임베딩 공간과 동시에 고차원 보조 임베딩 공간을 학습하는 동시 훈련 설정을 도입한다.
• 고차원 보조 공간의 유사성 관계를 저차원 기반 공간으로 전달함으로써 지식 전이를 수행한다.
• 보조 임베딩 공간과 기반 임베딩 공간 내 샘플 쌍 간의 상대적 유사성 순위(예: KL 발산을 사용)를 기반으로 한 손실 함수를 사용한다.
• 다양한 차원에서 다수의 자기-다른 학습 브랜치를 적용하여 다중 척도 지식 전이를 가능하게 하고 특징 재사용성을 향상시킨다.
• 백프로파게이션 중 기울기 간섭을 방지하면서도 자기-다른 학습 신호를 유지하기 위해 분리 가능한 보조 브랜치를 구현한다.
• 기반 임베딩 공간과 특징 기반 간의 자기-다른 학습을 통합하여 특징 활용도와 표현 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 고차원 보조 표현이 딥 메트릭 학습에서 저차원 기반 임베딩의 일반화 성능을 향상시킬 수 있는가?
• RQ2 외부 교사 모델을 사용하는 표준 자기-다른 학습과 비교해, 보조 임베딩 공간에서 동시에 자기-다른 학습을 수행할 경우 성능 향상이 이루어지는가?
• RQ3 자기-다른 학습 목표 함수의 선택(예: R-KL, 코사인 유사도, 유클리드 거리)이 성능와 안정성에 미치는 영향은 무엇인가?
• RQ4 효율적인 지식 전이를 위해 보조 네트워크의 최적의 깊이와 너비는 무엇인가?
• RQ5 초기 또는 후기 특징 레이어에서 자기-다른 학습을 수행할 경우 성능 향상가 발생하는가? 이는 네트워크 깊이에 따라 어떻게 달라지는가?

주요 결과

• S2SD는 CUB200-2011에서 Recall@1 기준 7%의 상대적 향상을 달성하여 이전 최고 성능 기준을 크게 뛰어넘었다.
• CARS196에서 S2SD는 기준 모델 대비 Recall@1을 최대 2.2% 향상시켰으며, 특히 저차원 설정에서 성능 향상이 두드러졌다.
• S2SD는 CUB200-2011, CARS196, Stanford Online Products 세 가지 벤치마크에서 모두 새로운 최고 성능을 기록했다.
• 2048차원과 같은 고차원 보조 브랜치에서 자기-다른 학습을 수행할 경우, 저차원 브랜치보다 더 높은 성능을 기록했으며, 2048차원에서 최적의 성능 향상이 이루어졌다.
• 다중 브랜치(예: #B=4)를 활용한 다중 척도 자기-다른 학습은 단일 브랜치 자기-다른 학습 대비 0.2% 향상된 성능을 기록하여 다양한 표현의 이점을 입증했다.
• 분리 가능한 보조 브랜치는 비분리형 대비 뛰어난 성능(66.96% R@1)을 기록했으며, 기울기 격리의 중요성을 확인했다.