[논문 리뷰] Softmax Dissection: Towards Understanding Intra- and Inter-class Objective for Embedding Learning

Lanqing He, Zhongdao Wang외 2명|arXiv (Cornell University)|2019. 08. 04.

Face recognition and analysis참고 문헌 27인용 수 5

한 줄 요약

이 논문은 임베딩 학습에서 내부 클래스 및 외부 클래스 목표를 분리하는 D-Softmax라는 분리된 손실을 제안한다. 이는 독립적인 최적화를 가능하게 한다. 내부 클래스 및 외부 클래스 목표를 분리하고, 샘플링 기반 변형(D-Softmax-B 및 D-Softmax-K)을 도입함으로써, 성능 저하를 최소화하면서도 대규모 데이터에서 최대 64배 빠른 훈련을 달성하며, 기존 가속화 방법보다 속도와 정확도 면에서 뛰어나다.

ABSTRACT

The softmax loss and its variants are widely used as objectives for embedding learning, especially in applications like face recognition. However, the intra- and inter-class objectives in the softmax loss are entangled, therefore a well-optimized inter-class objective leads to relaxation on the intra-class objective, and vice versa. In this paper, we propose to dissect the softmax loss into independent intra- and inter-class objective (D-Softmax). With D-Softmax as objective, we can have a clear understanding of both the intra- and inter-class objective, therefore it is straightforward to tune each part to the best state. Furthermore, we find the computation of the inter-class objective is redundant and propose two sampling-based variants of D-Softmax to reduce the computation cost. Training with regular-scale data, experiments in face verification show D-Softmax is favorably comparable to existing losses such as SphereFace and ArcFace. Training with massive-scale data, experiments show the fast variants of D-Softmax significantly accelerates the training process (such as 64x) with only a minor sacrifice in performance, outperforming existing acceleration methods of softmax in terms of both performance and efficiency.

연구 동기 및 목표

• 기본 소프트맥스 손실에서 내부 클래스 및 외부 클래스 목표 간의 엉킨 상태가 동시에 최적화를 방해하는 문제를 해결하기 위해.
• 같은 클래스 내에서 양성 샘플을 뭉치는 내부 클래스 목표와, 클래스 중심 간의 거리를 벌리는 외부 클래스 목표를 분리하여, 독립적이고 엄밀한 최적화를 가능하게 하기 위해.
• 외부 클래스 계산에서의 중복성을 식별하고 효율적인 샘플링 전략을 제안함으로써 대규모 훈련에서 계산 비용을 줄이기 위해.
• 수백만 개의 클래스를 포함한 데이터셋에서 빠르고 스케일러블한 D-Softmax 변형을 개발하여, 높은 성능을 유지하면서 훈련 속도를 크게 향상시키기 위해.

제안 방법

• D-Softmax는 표준 소프트맥스 손실을 두 개의 독립된 구성요소로 분해한다: 동일한 클래스 내에서 특징의 밀도를 강화하는 내부 클래스 목표(양성 클래스 가중치 사용).
• 외부 클래스 목표는 내부 클래스의 밀도와 무관하게 서로 다른 클래스 중심 간의 큰 각도 또는 마진 기반 간격을 유지한다.
• 이 방법은 두 가지 샘플링 기반 변형을 도입한다: D-Softmax-B는 현재 미니배치에서 음성 클래스를 샘플링하고, D-Softmax-K는 고정된 음성 클래스 풀에서 샘플링한다.
• 음성 클래스의 부분 집합만을 샘플링함으로써 외부 클래스 계산 비용을 크게 줄이지만, 내부 클래스 목표의 최적화 안정성은 유지된다.
• 분리된 구조 덕분에, 외부 클래스 최적화가 샘플링을 통해 완화되더라도 내부 클래스 제약은 엄격하고 효과적으로 유지된다.
• 이 프레임워크는 기존의 마진 기반 손실(ArcFace 등)과 호환되며, 어떤 소프트맥스 기반 임베딩 학습 시스템에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 기본 소프트맥스 손실에서 내부 클래스 및 외부 클래스 목표 간의 엉킴이 임베딩 학습의 최적화와 일반화에 어떤 영향을 미치는가?
• RQ2 내부 클래스 및 외부 클래스 목표를 분리하여 독립적이고 더 효과적인 최적화가 가능한가?
• RQ3 소프트맥스 손실에서 외부 클래스의 계산은 실제로 모든 음성 클래스에 대해 반드시 필요한가, 아니면 실질적으로 중복되는가?
• RQ4 외부 클래스 목표의 샘플링 기반 근사가 성능을 유지하면서도 대규모 훈련에서 상당한 속도 향상을 이끌 수 있는가?
• RQ5 D-Softmax와 같은 분리된 손실이 정확도와 훈련 효율성 측면에서 전체 소프트맥스와 기존의 샘플링 기반 방법을 모두 능가할 수 있는가?

주요 결과

• D-Softmax는 정규 스케일의 얼굴 인식 데이터셋에서 ArcFace와 유사한 성능을 달성하며, 정확도 저하 없이 성능을 유지한다.
• 대규모 데이터(757K 클래스)에서 D-Softmax-B 및 D-Softmax-K는 전체 소프트맥스 대비 최대 64배 빠른 훈련 속도를 기록하며, 성능 저하가 미미하다.
• D-Softmax-K는 1/64의 샘플링 비율에서 LFW 정확도에서 무작위 샘플링 기반 기준(Rand-Softmax, Rand-ArcFace)보다 0.53–0.55% 높은 성능을 기록한다.
• D-Softmax-K는 근접한 근접 이웃 샘플링을 사용하는 HF-Softmax를 정확도와 속도 면에서 모두 뛰어넘는다. 이는 분리된 내부 클래스 제약 덕분이다.
• 전체 D-Softmax 손실은 모든 샘플링 기반 변형을 능가하며, 대규모 데이터셋에서 전체 소프트맥스와도 동등하거나 뛰어난 성능을 보이며, 분리의 효과성을 입증한다.
• D-Softmax-K의 훈련 시간은 한 번의 순전파-역전파 계산에서 0.20초로, Rand-Softmax와 유사하지만, 다른 샘플링 방법보다는 훨씬 높은 정확도를 유지한다.