[논문 리뷰] Taming the Cross Entropy Loss

Manuel Martínez, Rainer Stiefelhagen|arXiv (Cornell University)|2018. 10. 11.

Adversarial Robustness in Machine Learning참고 문헌 15인용 수 5

한 줄 요약

이 논문은 표준 교차 엔트로피 손실의 강건한 변종인 Tamed Cross Entropy (TCE) 손실을 제안한다. TCE 손실은 원래 CE 손실의 빠른 수렴 속도를 유지하면서도 레이블 노이즈에 대한 강건성을 크게 향상시킨다. CE 기울기의 거듭제곱 정규화를 적용하여 TCE는 저신뢰도 예측에 대한 기울기 업데이트를 줄여 노이즈를 효과적으로 억제한다. 학습 초깃값을 수정하지 않고도 가능하다. ResNet-20을 사용한 노이즈가 있는 이미지 데이터셋에서의 실험 결과, TCE는 80% 레이블 노이즈 조건에서 CE보다 최대 9.80% 높은 Top-1 정확도를 기록했다.

ABSTRACT

We present the Tamed Cross Entropy (TCE) loss function, a robust derivative of the standard Cross Entropy (CE) loss used in deep learning for classification tasks. However, unlike other robust losses, the TCE loss is designed to exhibit the same training properties than the CE loss in noiseless scenarios. Therefore, the TCE loss requires no modification on the training regime compared to the CE loss and, in consequence, can be applied in all applications where the CE loss is currently used. We evaluate the TCE loss using the ResNet architecture on four image datasets that we artificially contaminated with various levels of label noise. The TCE loss outperforms the CE loss in every tested scenario.

연구 동기 및 목표

• 딥러닝 분류 작업에서 표준 교차 엔트로피(CE) 손실이 레이블 노이즈에 취약한 문제를 해결하기 위해.
• CE의 빠른 수렴 속도와 학습 동작을 유지하면서도 노이즈가 있는 또는 잘못 레이블링된 데이터에 대한 강건성을 향상시키는 손실 함수를 개발하기 위해.
• 학습 제도나 초깃값을 수정하지 않고도 CE의 즉각적인 대체로 사용할 수 있는 손실 함수를 만들기 위해.
• 인위적인 레이블 손상이 있는 실제 시나리오에서 레이블 노이즈에 대한 강건성과 수렴 속도 사이의 상호작용을 평가하기 위해.

제안 방법

• TCE 손실은 표준 CE 손실의 기울기에 거듭제곱 정규화를 적용하여 유도되며, 파라미터 α로 제어된다.
• 정규화는 모델이 자신감이 있을 때(즉, qi → 1) TCE 기울기가 CE 기울기와 일치하도록 하여 수렴 속도를 유지한다.
• 모델이 불확실할 때(즉, qi → 0) TCE 기울기는 0에 수렴하여 잘못된 레이블이나 이방성 샘플로부터의 피드백을 줄인다.
• 깨끗한 데이터에서 CE와 동일한 최적화 역학을 유지하므로, 존재하는 학습 파ipeline과의 호환성이 뛰어나다.
• TCE는 인위적으로 손상된 레이블을 가진 MNIST, CIFAR10+, CIFAR100+, VSHN에서 ResNet-20을 사용해 평가되었다.
• α 값의 범위(0.5에서 2.0)를 통해 민감도와 최적의 트레이드오프를 평가하기 위해 다양한 α 값에서 실험하였다.

실험 결과

연구 질문

• RQ1 수정된 교차 엔트로피 손실이 표준 CE의 빠른 수렴 속도를 유지하면서도 레이블 노이즈에 더 강건한가?
• RQ2 랜덤 레이블 노이즈가 증가함에 따라 TCE 손실은 CE, MSE, MAE와 비교해 어떻게 성능을 내는가?
• RQ3 TCE 손실의 정규화 파라미터 α의 최적 값은 무엇이며, 강건성과 수렴 속도 사이의 균형을 어떻게 이루는가?
• RQ4 TCE 손실은 초깃값 조정 없이 CE의 직접적인 대체로 적용했을 때도 학습 안정성과 성능을 유지하는가?

주요 결과

• 80%의 랜덤 레이블 노이즈가 있는 CIFAR100+에서, α = 1.5인 TCE는 Top-1 정확도 87.30%를 기록하여 CE보다 4.94%포인트 높았다.
• 80% 레이블 노이즈 조건에서 TCE는 CIFAR100+에서 CE 대비 9.80%포인트, CIFAR10+에서 9.36%포인트, VSHN에서 4.94%포인트 높은 Top-1 정확도를 기록했다.
• α = 1.0인 TCE는 수렴 속도가 CE와 거의 동일했으며, 모든 노이즈 수준에서 CE보다 더 높은 정확도를 달성했다.
• α > 1.5일 경우 수렴 속도가 느려졌지만, 여전히 MSE보다 훨씬 빠르게 수렴하여 α = 1.5에서 유리한 트레이드오프를 보였다.
• 0% 레이블 노이즈 조건에서도 CE 손실은 시간이 지남에 따라 성능 저하를 보였으며, 이는 내재된 불안정성을 시사한다; TCE와 MSE는 더 강건했다.
• TCE 손실은 모든 데이터셋과 노이즈 수준에서 높은 성능을 유지했으며, α의 범위 0.5 ≤ α ≤ 2.0에서 민감도가 매우 낮았다.