[논문 리뷰] Heated-Up Softmax Embedding

Xu Zhang, Felix X. Yu외 3명|arXiv (Cornell University)|2018. 09. 11.

Advanced Memory and Neural Computing참고 문헌 18인용 수 39

한 줄 요약

이 논문은 딥 네ural 네트워크 분류기의 학습 중 소프트맥스 함수의 온도를 점진적으로 증가시키는 '가열' 전략을 제안하며, 이는 임베딩의 응집도 향상과 클래스 간 분리도 향상에 기여한다. 중간 온도에서 학습하고 고온에서 미세조정함으로써, 이 방법은 클러스터링 및 검색을 위한 메트릭 러닝 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 트리플릿 또는 대비 손실 방법보다 더 단순하고 효율적인 학습 과정을 제공한다.

ABSTRACT

Metric learning aims at learning a distance which is consistent with the semantic meaning of the samples. The problem is generally solved by learning an embedding for each sample such that the embeddings of samples of the same category are compact while the embeddings of samples of different categories are spread-out in the feature space. We study the features extracted from the second last layer of a deep neural network based classifier trained with the cross entropy loss on top of the softmax layer. We show that training classifiers with different temperature values of softmax function leads to features with different levels of compactness. Leveraging these insights, we propose a "heating-up" strategy to train a classifier with increasing temperatures, leading the corresponding embeddings to achieve state-of-the-art performance on a variety of metric learning benchmarks.

연구 동기 및 목표

• 딥 네럴 네트워크에서 소프트맥스 온도 파라미터와 그로 인한 임베딩 분포 간의 관계를 조사하는 것.
• 메트릭 러닝을 위한 표준 교차 엔트로피로 학습된 분류기에서 최적화되지 않은 임베딩 응집도와 분산 문제를 해결하는 것.
• 클러스터링 및 검색과 같은 후속 메트릭 러닝 작업을 위한 임베딩 품질을 향상시키는 학습 전략을 개발하는 것.
• 트리플릿 또는 대비 손실과 같은 복잡한 손실 함수와 하드 마이닝을 피하는 더 단순하고 효율적인 대안을 제공하는 것.

제안 방법

• 소프트맥스 레이어의 기울기를 분석하여 온도 파라미터가 임베딩의 응집도와 클래스 간 분리도를 어떻게 제어하는지 밝혀내는 방법.
• 낮은 온도에서 시작하여 학습 도중 점차 증가시키는 '가열' 학습 전략을 제안하는 방법.
• 최종 선형 레이어에서는 고정된 온도를 사용하며, 소프트맥스 함수에서 온도를 학습 가능한 스칼라 α를 통해 조정하는 방법.
• 임베딩과 분류기 가중치에 ℓ₂ 정규화를 적용하고, 최종 미세조정 단계에서 α = 16 또는 α = 4를 사용하는 방법.
• 학습 과정은 표준 교차 엔트로피 손실로 시작하여 임베딩의 구조를 정교화하기 위해 고온으로 전환하는 방법.
• 최종 임베딩는 표준 메트릭 러닝 평가 지표인 클러스터링 작업에서의 Recall@K와 NMI를 사용해 평가된다.

실험 결과

연구 질문

• RQ1 딥 네트워크의 버티브 레이어에서 소프트맥스 함수의 온도 파라미터가 특징 분포에 어떤 영향을 미치는가?
• RQ2 동적 온도 스케줄링이 메트릭 러닝을 위한 임베딩의 응집도와 분산을 향상시킬 수 있는가?
• RQ3 '가열' 전략이 후속 메트릭 러닝 작업에서 고정 온도 학습보다 우수한 성능을 내는가?
• RQ4 제안된 방법은 트리플릿 손실 및 ProxyNCA와 같은 최신 기술 수준의 메트릭 러닝 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• 가열된 모델(HLN 및 HBN)은 클러스터링 및 검색 작업 모두에서 네 가지 벤치마크 데이터셋에서 최신 기술 수준 성능을 달성한다.
• 모든 지표, 특히 Recall@1과 NMI에서 표준 소프트맥스 기반 모델 및 고정 온도 모델(LN, BN 등)보다 성능이 뛰어나다.
• α = 16로 학습한 모델가 고정 온도 모델 중 최고의 성능를 기록하며, 응집도와 분산 간 최적의 균형을 이룬다.
• 동일한 기본 네트워크(GoogleNetV1)와 평가 지표(Euclidean 거리)를 사용하더라도 '가열' 전략이 성능 향상에 크게 기여한다.
• 복잡한 최신 기술 수준의 방법들인 ProxyNCA, 하드 마이닝을 적용한 트리플릿 손실, 리프트드 구조 손실과 비교해도 더 나은 또는 유사한 성능을 기록한다.
• 제거 분석 결과, 다양한 임베딩 크기(64, 128, 256)와 α 값(4.0에서 64.0)에서 '가열' 전략이 일관되게 성능 향상을 이룬다.