[논문 리뷰] The Z-loss: a shift and scale invariant classification loss belonging to the Spherical Family

Alexandre de Brébisson, Pascal Vincent|arXiv (Cornell University)|2016. 04. 29.

Advanced Neural Network Applications참고 문헌 16인용 수 5

한 줄 요약

Z-손실은 구면 가족에 속하는 새로운 분류 손실로, 이동 및 스케일 불변성을 가지며, 출력 클래스 수에 관계없이 계산 복잡도가 일정하다. 이는 대규모 언어 모델링 작업에서 log-softmax와 계층적 softmax보다 빠른 속도와 높은 top-k 정확도를 달성하며, log-softmax 대비 40배 빠른 훈련 속도를 보이고, top-5 및 top-10 오류율과 같은 랭킹 메트릭에서 더 나은 일반화 성능을 보인다.

ABSTRACT

Despite being the standard loss function to train multi-class neural networks, the log-softmax has two potential limitations. First, it involves computations that scale linearly with the number of output classes, which can restrict the size of problems we are able to tackle with current hardware. Second, it remains unclear how close it matches the task loss such as the top-k error rate or other non-differentiable evaluation metrics which we aim to optimize ultimately. In this paper, we introduce an alternative classification loss function, the Z-loss, which is designed to address these two issues. Unlike the log-softmax, it has the desirable property of belonging to the spherical loss family (Vincent et al., 2015), a class of loss functions for which training can be performed very efficiently with a complexity independent of the number of output classes. We show experimentally that it significantly outperforms the other spherical loss functions previously investigated. Furthermore, we show on a word language modeling task that it also outperforms the log-softmax with respect to certain ranking scores, such as top-k scores, suggesting that the Z-loss has the flexibility to better match the task loss. These qualities thus makes the Z-loss an appealing candidate to train very efficiently large output networks such as word-language models or other extreme classification problems. On the One Billion Word (Chelba et al., 2014) dataset, we are able to train a model with the Z-loss 40 times faster than the log-softmax and more than 4 times faster than the hierarchical softmax.

연구 동기 및 목표

• 언어 모델링과 같은 극단적 분류 작업에서 특히 계산 비효율적인 log-softmax의 문제를 해결하기 위해.
• 대상 손실 함수(예: top-k 오류율)와 비미분 가능한 손실 함수 간의 괴리 감소를 위해.
• 출력 클래스 수에 관계없이 훈련 복잡도가 일정한 고성능 손실 함수 개발을 위해.
• 기존의 대체 손실 함수보다 실질 평가 메트릭과 더 잘 일치하는 새로운 손실 함수가 가능할지 탐색하기 위해.

제안 방법

• Z-손실은 출력 로짓의 애프린트에 이동 및 스케일 불변성을 적용하는 Z-정규화 단계에서 유도되며, 이는 출력 로짓의 애프린트 변환에 대한 불변성을 보장한다.
• 이것은 구면 손실 가족에 속하며, W = VU의 인수 분해 행렬 표현을 통해 출력 가중치에 대한 정확한 기울기 업데이트를 O(d²) 시간에 수행할 수 있다. 이는 클래스 수 D에 관계없이 가능하다.
• 손실 및 기울기 계산을 효율적으로 하기 위해 요약 통계를 사용하여, 표준 소프트맥스 기반 역전파의 O(d×D) 비용을 피한다.
• Z-손실은 정규화된 출력의 형태를 제어하는 두 개의 학습 가능한 하이퍼파rameter a와 b를 포함하며, 이는 top-k 정확도와 같은 다양한 평가 메트릭에 적응 가능하게 한다.
• Z-정규화를 먼저 적용함으로써 표준 손실 함수에 일반화할 수 있으며, 이는 작업별 메트릭과 더 잘 일치하도록 하이퍼파rameter 조정이 가능하게 한다.

실험 결과

연구 질문

• RQ1 출력 클래스 수에 따라 확장되지 않는 고성능을 유지하는 손실 함수를 설계할 수 있는가?
• RQ2 이동 및 스케일 불변성 손실 함수가 비미분 가능한 작업 메트릭(예: top-k 오류율)과 더 잘 일치하는가?
• RQ3 대규모 언어 모델링 작업에서 Z-손실은 log-softmax와 계층적 softmax보다 훈련 속도와 최종 성능에서 어떻게 비교되는가?
• RQ4 Z-정규화 과정의 학습 가능한 하이퍼파rameter가 기존의 대체 손실 함수를 넘어서 일반화 성능을 향상시킬 수 있는가?

주요 결과

• 793,471개의 클래스를 가진 One Billion Word 데이터셋에서 Z-손실은 표준 log-softmax 대비 40배 빠르게 훈련되었으며, 동일한 아키텍처에서 계층적 softmax보다도 4배 이상 빠르게 훈련되었다.
• 고정된 4일 훈련 예산 하에서 Z-손실은 더 큰 모델(net2)을 더 효율적으로 훈련시켜 계층적 softmax보다 낮은 top-1 오류율을 달성했다.
• Penn Tree Bank 데이터셋에서 Z-손실은 top-5, top-10, top-20, top-50 오류율 모두에서 log-softmax와 교차 엔트로피 시그모이드보다 뛰어난 성능을 보였다.
• Z-손실의 하이퍼파rameter a와 b는 매우 중요했으며, 특히 a가 top-k 성능에 더 강한 영향을 미쳤고, 초기 훈련 단계에서 하이퍼파rameter를 조정하는 것으로 최적 결과를 얻을 수 있었다.
• Z-정규화 기법은 log-softmax와 같은 표준 손실 함수에 적용 가능하며, 이는 작업 메트릭과의 일치도 향상시키기 위해 조정 가능한 하이퍼파rameter를 도입할 수 있게 한다.