[논문 리뷰] Fast Single-Class Classification and the Principle of Logit Separation

Gil Keren, Sivan Sabato외 1명|arXiv (Cornell University)|2017. 05. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 3

한 줄 요약

이 논문은 단일 로짓 분류(Single Logit Classification, SLC) 작업을 소개하며, 신경망이 유일한 타겟 클래스의 로짓만을 사용하여 예측을 수행하도록 훈련시켜 빠른 추론을 가능하게 한다. 또한 손실 함수 설계 지침으로 로짓 분리 원칙(Principle of Logit Separation, PoLS)을 제안하며, PoLS에 부합하는 손실 함수는 교차 엔트로피 대비 상대적으로 최소 20% 향상된 SLC 정확도를 달성하고, 400,000개의 클래스에서 최대 10배의 속도 향상을 이룬다.

ABSTRACT

We consider neural network training, in applications in which there are many possible classes, but at test-time, the task is a binary classification task of determining whether the given example belongs to a specific class, where the class of interest can be different each time the classifier is applied. For instance, this is the case for real-time image search. We define the Single Logit Classification (SLC) task: training the network so that at test-time, it would be possible to accurately identify whether the example belongs to a given class in a computationally efficient manner, based only on the output logit for this class. We propose a natural principle, the Principle of Logit Separation, as a guideline for choosing and designing losses suitable for the SLC. We show that the cross-entropy loss function is not aligned with the Principle of Logit Separation. In contrast, there are known loss functions, as well as novel batch loss functions that we propose, which are aligned with this principle. In total, we study seven loss functions. Our experiments show that indeed in almost all cases, losses that are aligned with the Principle of Logit Separation obtain at least 20% relative accuracy improvement in the SLC task compared to losses that are not aligned with it, and sometimes considerably more. Furthermore, we show that fast SLC does not cause any drop in binary classification accuracy, compared to standard classification in which all logits are computed, and yields a speedup which grows with the number of classes. For instance, we demonstrate a 10x speedup when the number of classes is 400,000. Tensorflow code for optimizing the new batch losses is publicly available at https://github.com/cruvadom/Logit Separation.

연구 동기 및 목표

• 매우 많은 수의 클래스를 가진 신경망에서 추론의 높은 계산 비용 문제를 해결하기 위해, 특히 테스트 시점에 단일 클래스만 쿼리되는 경우에 초점을 맞춘다.
• 모델을 훈련시켜 타겟 클래스의 로짓만으로도 분류 정확도가 결정되도록 하여 단일 로짓 추론을 빠르게 구현한다.
• 정확한 클래스의 로짓이 잘못된 클래스의 로짓과 의미적으로 분리되어야 하는 기본 원칙인 '로짓 분리'를 규명한다.
• 로짓 분리 원칙에 부합하는 손실 함수를 설계하고 평가하여 기존의 교차 엔트로피보다 SLC 성능을 향상시킨다.

제안 방법

• 테스트 시점에 쿼리된 클래스의 로짓만 계산하는 단일 로짓 분류(SLC) 작업을 제안한다.
• 정확한 클래스의 로짓이 잘못된 클래스의 로짓보다 로짓 공간에서 상당히 높아야 한다는 로짓 분리 원칙(PoLS)을 도입한다.
• 표준 교차 엔트로피와 새로운 배치 기반 손실 함수를 포함한 일곱 가지 손실 함수를 PoLS에 대한 부합도 분석한다.
• 각 미니배치 내에서 정확한 클래스의 로짓이 잘못된 클래스의 로짓을 지배하도록 보장하는 배치 기반 손실 함수(예: 배치 교차 엔트로피, 배치 최대 마진)를 정의한다.
• 이론적 분석을 통해 PoLS에 부합하는 손실 함수는 손실이 낮아지는 극한에서 정확한 클래스의 로짓이 잘못된 클래스의 로짓과 엄격히 분리됨을 증명한다.
• KL 발산과 마진 제약 조건을 기반으로 한 이론적 프레임워크를 활용해 분리 조건을 수학적으로 정형화한다.

실험 결과

연구 질문

• RQ1 단일 클래스의 로짓만으로도 예측이 정확하게 이루어질 수 있도록 신경망을 훈련시킬 수 있는가?
• RQ2 표준 교차 엔트로피 손실은 왜 SLC 환경에서는 실패하는가? 비록 널리 사용되지만 말이다.
• RQ3 단일 클래스의 로짓이 분류에 의미 있게 기여하도록 하기 위해 손실 함수 설계를 이끄는 원칙은 무엇인가?
• RQ4 모든 클래스에 걸쳐 로짓 분리를 강제로 구현할 수 있는 배치 기반 손실 함수를 구성할 수 있는가?
• RQ5 PoLS에 부합하는 손실 함수의 경험적 영향은 SLC 정확도와 추론 속도에 어떤가?

주요 결과

• 로짓 분리 원칙(PoLS)에 부합하는 손실 함수는 교차 엔트로피 대비 상대적으로 최소 20% 향상된 SLC 정확도를 달성한다.
• 교차 엔트로피 손실은 PoLS에 부합하지 않으며, 정확한 클래스와 잘못된 클래스의 로짓 간 충분한 분리를 보장하지 못한다.
• 새로운 배치 기반 손실 함수인 배치 교차 엔트로피와 배치 최대 마진 손실은 PoLS에 부합함이 증명되었고, 기존의 교차 엔트로피보다 SLC에서 더 뛰어난 성능을 보였다.
• 400,000개의 클래스에서 제안된 SLC 방법은 전체 소프트맥스 추론 대비 10배 빠른 추론 시간을 달성한다.
• SLC 방법은 성능 저하 없이 표준 전체 클래스 분류 훈련과 동일한 이진 분류 정확도를 유지한다.
• 이론적 분석을 통해 PoLS에 부합하는 손실 함수는 로짓 공간에서 정확한 클래스의 로짓과 잘못된 클래스의 로짓 간 엄격한 분리를 강제로 이끈다.