[논문 리뷰] Evaluation of Neural Architectures Trained with Square Loss vs Cross-Entropy in Classification Tasks

Like Hui, Mikhail Belkin|arXiv (Cornell University)|2020. 06. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 42인용 수 53

한 줄 요약

논문은 NLP, ASR, 비전 태스크 전반에 걸쳐 제곱 손실과 크로스 엔트로피를 실증적으로 비교하며, 제곱 손실이 종종 크로스 엔트로피와 동등하거나 더 잘 수행하고 특히 NLP/ASR에서 두드러진다.

ABSTRACT

Modern neural architectures for classification tasks are trained using the cross-entropy loss, which is widely believed to be empirically superior to the square loss. In this work we provide evidence indicating that this belief may not be well-founded. We explore several major neural architectures and a range of standard benchmark datasets for NLP, automatic speech recognition (ASR) and computer vision tasks to show that these architectures, with the same hyper-parameter settings as reported in the literature, perform comparably or better when trained with the square loss, even after equalizing computational resources. Indeed, we observe that the square loss produces better results in the dominant majority of NLP and ASR experiments. Cross-entropy appears to have a slight edge on computer vision tasks. We argue that there is little compelling empirical or theoretical evidence indicating a clear-cut advantage to the cross-entropy loss. Indeed, in our experiments, performance on nearly all non-vision tasks can be improved, sometimes significantly, by switching to the square loss. Furthermore, training with square loss appears to be less sensitive to the randomness in initialization. We posit that training using the square loss for classification needs to be a part of best practices of modern deep learning on equal footing with cross-entropy.

연구 동기 및 목표

• 현대 신경망 분류기에서 NLP, ASR, 컴퓨터 비전 태스크에 걸쳐 제곱 손실이 크로스 엔트로피에 비해 일치하거나 능가할 수 있는지 평가한다.
• 문헌에 보고된 하이퍼파라미터를 사용하여 다양한 아키텍처(CNN, LSTM, Transformer)를 평가하고 필요에 따라 학습률 조정을 수행한다.
• 동일한 계산 예산에서 제곱 손실의 성능과 훈련 안정성이 크로스 엔트로피와 어떻게 비교되는지 결정한다.

제안 방법

• NLP, ASR, 비전 도메인에서 28개의 신경 모델/데이터세트 조합에 대해 제곱 손실과 크로스 엔트로피를 비교한다.
• 크로스 엔트로피에 대해 문헌의 아키텍처와 하이퍼파라미터를 사용하되 손실만 제곱 손실로 교체하고(학습률도 조정) 조정한다.
• 다수 클래스 문제를 위한 손실 재스케일링을 적용하고 제곱 손실로 학습할 때 softmax를 제거한다(권고대로).
• 여러 개의 무작위 초기화에 대해 도메인별 지표(정확도, F1, PER/CER/WER, Top-5 정확도)로 평가한다.
• 제곱 손실에 대해 두 가지 프로토콜을 실행한다: 표준 학습과 CE와 같은 에포크 수를 가진 학습으로 계산 자원을 균등화한다.

실험 결과

연구 질문

• RQ1 다양한 아키텍처와 데이터세트에서 제곱 손실이 크로스 엔트로피에 비해 비슷하거나 우수한 정확도를 제공하는가?
• RQ2 계산 자원을 균등화(동일한 에포크 수)했을 때 제곱 손실이 크로스 엔트로피에 비해 어떤 성능을 보이는가?
• RQ3 손실 함수 성능에서 도메인 의존적 패턴이 있는가(예: NLP/ASR vs. 컴퓨터 비전)?

주요 결과

• 제곱 손실은 전체 28개 태스크 중 22개에서 크로스 엔트로피보다 더 좋거나 같은 정확도를 낸다.
• 제곱 손실은 대부분의 실험에서 무작위 초기화에 따른 분산이 더 작게 나타난다.
• NLP 및 ASR의 경우 제곱 손실이 크로스 엔트로피를 자주 능가하며; 비전의 경우 크로스 엔트로피가 전반적으로 약간 우위이나 예외도 있다(예: ImageNet의 EfficientNet).
• 에포크를 맞춰 계산을 균등화하는 것은 비전이 아닌 태스크에서 제곱 손실의 우위를 제거하지 못하며 성능을 유지하거나 향상시킬 수 있다.
• 제곱 손실로 학습할 때 최적화 저해를 피하기 위해 소프트맥스 층의 제거가 권장되며 다수 클래스 문제에는 손실 재스케일링이 도움이 된다.