[논문 리뷰] Fix your classifier: the marginal value of training the last weight layer

Elad Hoffer, Itay Hubara외 1명|arXiv (Cornell University)|2018. 01. 14.

Stochastic Gradient Optimization Techniques인용 수 60

한 줄 요약

이 논문은 CNN의 마지막 선형 분류기를 고정 직교 변환(예: Hadamard)으로 교체하거나 고정하면 학습 가능한 매개변수를 크게 줄이고 추론 속도를 향상시킬 가능성과 함께 비슷한 정확도를 얻을 수 있음을 보여준다.

ABSTRACT

Neural networks are commonly used as models for classification for a wide variety of tasks. Typically, a learned affine transformation is placed at the end of such models, yielding a per-class value used for classification. This classifier can have a vast number of parameters, which grows linearly with the number of possible classes, thus requiring increasingly more resources. In this work we argue that this classifier can be fixed, up to a global scale constant, with little or no loss of accuracy for most tasks, allowing memory and computational benefits. Moreover, we show that by initializing the classifier with a Hadamard matrix we can speed up inference as well. We discuss the implications for current understanding of neural network models.

연구 동기 및 목표

• CNN의 마지막 분류 계층에서 매개변수 수를 축소하되 정확도를 저하시키지 않는 것을 동기로 삼는다.
• 최종 분류기로 고정 선형 변환(직교, Hadamard)을 제안하고 학습 역학을 연구한다.
• CNN-10/100, ImageNet, 언어 모델링에서 고정 분류기의 일반성를 평가한다.
• 대규모 데이터셋 및 메모리/계산 제약이 있는 디바이스에서의 실용적 함의를 분석한다.

제안 방법

• 최종 어파인 분류기의 학습 가능한 W를 고정 직교 프로젝션 Q로 교체한다(열 q_i는 서로 직교하고 노름이 1).
• 마지막 표현 x를 단위 L2 노름으로 정규화하고 소프트맥스 입력을 스케일링하는 단일 스칼라 α를 도입하고 바이어스 b를 더한다. s_i = softmax(α q_i·x̂ + b_i).
• 선택적으로 고정 Hadamard 행렬 Ĥ(C×N)을 최종 분류기로 사용하여 계수를 저장하지 않고 계산을 단순화할 수 있다(y = Ĥ x̂ + b).
• 소프트맥스의 대안으로 코사인 각도 손실 함수를 탐구한다.
• CIFAR-10/100, 다양한 아키텍처(ResNet, DenseNet, ShuffleNet)와 WikiText-2의 언어 모델링에서 learned vs fixed classifiers를 비교한다.

실험 결과

연구 질문

• RQ1 고정된 최종 분류기가 일반적인 CNN 작업에서 학습된 분류기와 유사한 정확도를 유지할 수 있는가?
• RQ2 분류기를 고정했을 때 학습 역학, 매개변수 수, 메모리 사용량에 어떤 영향이 있는가?
• RQ3 Hadamard 또는 직교 고정 변환이 성능 손실 없이 계산/메모리 이점을 제공하는가?
• RQ4 특정 도메인(예: 언어 모델링)에서 고정 분류기가 클래스 상관관계나 임베딩 역할로 인해 덜 효과적일 수 있는가?

주요 결과

• 고정 분류기는 CIFAR-10/100 및 ImageNet의 다양한 아키텍처에서 학습된 분류기와 거의 동일한 검증 정확도를 달성한다.
• 최종 계층의 학습 가능 매개변수를 제거하면 학습 가능한 매개변수 비율이 크게 감소한다(예: CIFAR-10 ResNet56의 0.07%; CIFAR-100 DenseNet의 4.2%; ImageNet ResNet50의 8.01%; ImageNet DenseNet169의 11.76%; ImageNet ShuffleNet의 52.56%).
• 고정 Hadamard 행렬을 최종 분류기로 사용하면 메모리 이점을 제공하고 특정 구성에서 정확도 손실 없이 최종 계층의 매개변수를 완전히 제거할 수 있다.
• 언어 모델링(WikiText-2)에서 고정된 임의 직교 임베딩은 학습된 임베딩에 비해 성능이 떨어지지만, 고정 변환을 갖춘 사전 학습된 word2vec 임베딩은 매개변수를 약 89% 감소시키고 perplexity 저하가 미미하다.
• ImageNet과 CIFAR 과제 전반에 걸쳐 고정 분류기는 학습/검증 동작이 비슷하게 수렴하며, 단일 스케일 매개변수 α를 학습시켜 성능을 맞출 수 있다.