[논문 리뷰] Trade-offs in Top-k Classification Accuracies on Losses for Deep Learning

Azusa Sawada, Eiji Kaneko외 1명|arXiv (Cornell University)|2020. 07. 30.

Advanced Neural Network Applications참고 문헌 12인용 수 5

한 줄 요약

이 논문은 딥러닝에서 상위-k 분류 정확도를 향상시키기 위해 표준 교차 엔트로피(Cross-Entropy, CE)에서 상위-k 예측 클래스를 하나의 클래스로 묶는 수정된 CE로 동적으로 전이되는 top-k 전이 손실(top-k transition loss)을 제안한다. 실험 결과, CE보다 상위-5 및 상위-k 정확도(k > 10)에서 뛰어난 성능을 보이며, ResNet18를 사용해 CIFAR-100에서 25개 후보로 99%의 정확도를 달성했고, 이는 CE 대비 8개 적은 후보 수이다.

ABSTRACT

This paper presents an experimental analysis about trade-offs in top-k classification accuracies on losses for deep leaning and proposal of a novel top-k loss. Commonly-used cross entropy (CE) is not guaranteed to optimize top-k prediction without infinite training data and model complexities. The objective is to clarify when CE sacrifices top-k accuracies to optimize top-1 prediction, and to design loss that improve top-k accuracy under such conditions. Our novel loss is basically CE modified by grouping temporal top-k classes as a single class. To obtain a robust decision boundary, we introduce an adaptive transition from normal CE to our loss, and thus call it top-k transition loss. It is demonstrated that CE is not always the best choice to learn top-k prediction in our experiments. First, we explore trade-offs between top-1 and top-k (=2) accuracies on synthetic datasets, and find a failure of CE in optimizing top-k prediction when we have complex data distribution for a given model to represent optimal top-1 prediction. Second, we compare top-k accuracies on CIFAR-100 dataset targeting top-5 prediction in deep learning. While CE performs the best in top-1 accuracy, in top-5 accuracy our loss performs better than CE except using one experimental setup. Moreover, our loss has been found to provide better top-k accuracies compared to CE at k larger than 10. As a result, a ResNet18 model trained with our loss reaches 99 % accuracy with k=25 candidates, which is a smaller candidate number than that of CE by 8.

연구 동기 및 목표

• 이deal 조건에서 상위-k 캘리브레이션은 이루어지지만, 표준 교차 엔트로피(CE)가 상위-k 분류 정확도를 최적화하지 못하는 경우를 조사한다.
• 제한된 데이터, 모델 용량, 최적화 수렴 조건이 있는 실질적인 딥러닝 환경에서 상위-1과 상위-k 정확도 사이의 트레이드오프를 다룬다.
• 실제 세계의 제약 조건 하에서 강건한 결정 경계를 촉진함으로써 상위-k 예측 성능을 향상시키는 새로운 손실 함수를 설계한다.
• CE가 항상 상위-k 예측에 최적은 아니며, 특히 데이터 분포가 복잡하거나 모델 용량이 제한된 경우에 이를 입증한다.

제안 방법

• 표준 CE에서 상위-k 예측 클래스를 하나의 클래스로 묶는 수정된 CE로 동적으로 전이되는 top-k 전이 손실을 제안한다.
• 학습 중에 표준 CE에서 상위-k 묶음 손실로 점진적으로 전이되는 적응형 전이 메커니즘을 도입하여 최적화 안정성과 일반화 성능을 향상시킨다.
• 데이터 증강(Mixup, Cutout)을 적용한 합성 및 실세계 데이터셋(CIFAR-100)에 대해 딥 네ural 네트워크(ResNet18, DenseNet121)에 손실를 적용한다.
• 다양한 학습 설정에서 제안된 손실의 상위-k 정확도를 표준 CE 및 기타 상위-k 손실(예: 스무스 상위-5 SVM 손실)과 비교한다.
• 복잡한 데이터 분포와 다중 모달 클래스 구조를 가진 상황에서 CE의 상위-k 예측 실패 원인을 분석하기 위해 합성 데이터를 사용한다.
• 상위-1 및 상위-5 예측에 대해 CIFAR-100에서 성능을 평가하고, 다양한 k값에 대해 정확도를 측정하여 성능 전환점을 식별한다.

실험 결과

연구 질문

• RQ1 표준 교차 엔트로피가 이상적인 조건에서 상위-k 캘리브레이션은 이루어지지만, 어떤 데이터 및 모델 조건에서 상위-k 정확도를 최적화하지 못하는가?
• RQ2 상위-k 클래스를 하나의 클래스로 묶는 수정된 손실 함수가 실세계 딥러닝 시나리오에서 상위-k 예측 성능을 향상시킬 수 있는가?
• RQ3 표준 CE에서 상위-k 묶음 손실로의 적응형 전이가 결정 경계의 강건성과 일반화에 어떤 영향을 미치는가?
• RQ4 실제 딥러닝 환경에서 CE와 상위-k 전용 손실을 사용할 경우 상위-1과 상위-k 정확도 사이의 트레이드오프는 어떻게 발생하는가?
• RQ5 제안된 상위-k 전이 손실이 목표 정확도(예: 99%)를 달성하기 위해 필요한 예측 후보 수를 얼마나 줄일 수 있는가?

주요 결과

• 합성 데이터에서 클래스 분포가 복잡한(예: 다중 모달) 경우, 충분한 모델 용량이 있음에도 불구하고 비강건한 결정 경계로 인해 CE는 상위-k 정확도를 최적화하지 못한다.
• CIFAR-100에서 제안된 상위-5 전이 손실은 6개 실험 설정 중 5개에서 CE보다 높은 상위-5 정확도를 기록했으며, Mixup를 사용한 ResNet18에서 0.9% 향상되었다.
• k > 10일 경우, 상위-5 전이 손실은 CE 및 기타 기준 손실을 일관되게 능가하여 오직 25개의 예측 후보로 99% 정확도를 달성했고, 이는 CE 대비 8개 적은 수이다.
• 상위-5 전이 손실은 상위-5 묶음 손실보다 성능이 뛰어나며, 상위-5 묶음 손실은 클래스 간 겹침이 낮은 데이터셋에서 결정 경계 선택이 열악하여 CE보다도 성능이 열 劣하다.
• Cutout 증강 조건에서는 스무스 상위-5 SVM 손실이 전이 손실보다 略적으로 우수한 성능을 보였지만, 소프트 레이블 학습(예: Mixup)과 호환성이 없어, 전이 손실은 이 조건에서 뛰어난 성능을 발휘한다.
• 청결한 데이터셋인 CIFAR-100에서도 상위-1과 상위-k 정확도 사이의 트레이드오프가 지속되며, 이는 일반화 오차에서 기인하며 모델의 과소적합 때문이 아니라는 것을 시사한다.