[논문 리뷰] Smooth Loss Functions for Deep Top-k Classification

Leonard Berrada, Andrew Zisserman외 1명|arXiv (Cornell University)|2018. 02. 21.

Adversarial Robustness in Machine Learning참고 문헌 12인용 수 53

한 줄 요약

이 논문은 딥 네트워크용 매끄러운 top-k 손실 함수의 계보를 제시하고 교차 엔트로피를 일반화하며, 분할 정복과 기본 대칭 다항식을 이용한 효율적인 O(kn) 알고리즘으로 이를 계산한다. 라벨 노이즈에 대한 강건성과 데이터 부족 상황에서도 교차 엔트로피보다 우수한 성능을 보인다.

ABSTRACT

The top-k error is a common measure of performance in machine learning and computer vision. In practice, top-k classification is typically performed with deep neural networks trained with the cross-entropy loss. Theoretical results indeed suggest that cross-entropy is an optimal learning objective for such a task in the limit of infinite data. In the context of limited and noisy data however, the use of a loss function that is specifically designed for top-k classification can bring significant improvements. Our empirical evidence suggests that the loss function must be smooth and have non-sparse gradients in order to work well with deep neural networks. Consequently, we introduce a family of smoothed loss functions that are suited to top-k optimization via deep learning. The widely used cross-entropy is a special case of our family. Evaluating our smooth loss functions is computationally challenging: a naïve algorithm would require $\mathcal{O}(\binom{n}{k})$ operations, where n is the number of classes. Thanks to a connection to polynomial algebra and a divide-and-conquer approach, we provide an algorithm with a time complexity of $\mathcal{O}(k n)$. Furthermore, we present a novel approximation to obtain fast and stable algorithms on GPUs with single floating point precision. We compare the performance of the cross-entropy loss and our margin-based losses in various regimes of noise and data size, for the predominant use case of k=5. Our investigation reveals that our loss is more robust to noise and overfitting than cross-entropy.

연구 동기 및 목표

• 레이블 노이즈나 데이터 부족이 교차 엔트로피 성능을 저해할 때 top-k 전용 손실의 필요성을 동기 부여한다.
• 교차 엔트로피를 일반화하는 매끄러운 대리 손실 L_{k,τ}를 도입하여 top-k 분류를 다룬다.
• 손실과 그 기울기를 계산하기 위한 수치적으로 안정적인 GPU 가속 알고리즘을 개발한다.
• 다양한 노이즈 수준과 데이터 세트 크기에서 매끄러운 top-k 손실과 교차 엔트로피를 실험적으로 비교한다.

제안 방법

• ground-truth 점수를 k번째로 큰 점수와 비교하는 top-k 대리 손실 l_k(s,y)를 정의한다.
• 경사도를 매끄럽게 하기 위한 온도 τ를 사용하는 매끄러운 버전 L_{k,τ}(s,y)로 도입한다.
• 구조를 활용하고 O(kn) 시간 복잡도를 달성하기 위해 elementary symmetric polynomials로 L_{k,τ}를 재구성한다.
• σ_k(e)를 효율적으로 계산하기 위한 분할-정복 다항식 곱셈에 기반한 순방향 알고리즘을 개발한다.
• 큰 메모리 오버헤드를 피하기 위해 순방향 결과를 재사용하는 메모리 효율적인 역전파를 도출한다.
• L_{k,τ}와 교차 엔트로피의 관계를 설명하고 특정 조건에서 top-k 손실의 상계가 되는지 논의한다.

실험 결과

연구 질문

• RQ1 매끄러운 top-k 대리 손실이 표준 교차 엔트로피에 비해 딥 네트의 학습 안정성과 성능을 개선하는가?
• RQ2 큰 클래스 수 n과 작은 k에서 top-k 매끄러운 손실을 prohibitive하지 않게 효율적으로 계산할 수 있는가?
• RQ3 라벨 노이즈와 제한된 데이터 상황에서 매끄러운 top-k 손실이 교차 엔트로피에 비해 어떤 성능을 보이는가?
• RQ4 L_{k,τ}와 교차 엔트로피의 관계는 무엇이며, τ가 그래디언트 희소성과 학습 역학에 어떤 영향을 미치는가?

주요 결과

• L_{k,τ}는 τ>0인 모든 경우에서 무한히 미분 가능하며 그래디언트가 희소하지 않다.
• L_{k,τ}는 τ→0+일 때 비매끄러운 l_k로 수렴하고 특정 조건에서 top-k 손실을 상계한다.
• k=5인 ImageNet 및 CIFAR-100에서 노이즈나 데이터 부족 상황에서 L_{k,τ}는 교차 엔트로피보다 라벨 노이즈와 과적합에 더 강건하다.
• 적절한 τ를 사용한 매끄러화는 노이즈/저데이터 환경에서 더 나은 최적화 다이나믹스와 학습 성능을 유도한다.
• 효율적인 O(kn) 순방향 알고리즘과 메모리 효율적인 역전파로 GPU에서의 실용적 학습이 가능하다.
• k=1이고 특정 스케일링 한계에서 L_{k,τ}는 교차 엔트로피를 특수한 경우로 재현한다.