[논문 리뷰] Uses and Abuses of the Cross-Entropy Loss: Case Studies in Modern Deep Learning

Elliott Gordon-Rodríguez, Gabriel Loaiza-Ganem외 2명|arXiv (Cornell University)|2020. 11. 10.

Adversarial Robustness in Machine Learning참고 문헌 28인용 수 55

한 줄 요약

이 논문은 단순체 값의 타깃에 교차 엔트로피를 사용하는 것을 비판하고, 레이블 스무딩을 위한 CC-LS와 액터-모방 강화학습을 위한 CC-AMN 등 연속-범주 분포를 기반으로 한 확률적 대안을 제안하며, 과제마다 혼합된 실험 결과를 보인다.

ABSTRACT

Modern deep learning is primarily an experimental science, in which empirical advances occasionally come at the expense of probabilistic rigor. Here we focus on one such example; namely the use of the categorical cross-entropy loss to model data that is not strictly categorical, but rather takes values on the simplex. This practice is standard in neural network architectures with label smoothing and actor-mimic reinforcement learning, amongst others. Drawing on the recently discovered continuous-categorical distribution, we propose probabilistically-inspired alternatives to these models, providing an approach that is more principled and theoretically appealing. Through careful experimentation, including an ablation study, we identify the potential for outperformance in these models, thereby highlighting the importance of a proper probabilistic treatment, as well as illustrating some of the failure modes thereof.

연구 동기 및 목표

• 타깃이 엄밀히 범주형이기보다는 단순체에 놓일 때 확률적 처리가 필요하다는 필요성에 동기를 부여한다.
• 단순체 값 데이터에 대한 principled한 대체로 CC 로깅-가능도(CC log-likelihood)를 도입한다.
• CIFAR-10에서 CC-LS를 레이블 스무딩의 대체로 평가하여 규제 및 표현 학습을 평가한다.
• 아타리 게임에서 교차 엔트로피의 대체로 CC-AMN을 평가한다.
• 딥 러닝 실무를 위한 CC 기반 가능도들의 시사점과 한계를 논의한다.

제안 방법

• CC 분포를 교차 엔트로피 가능도의 정규화된 버전으로 정의하고, 특정 로그-비율 표현으로 주어진 닫힌 형태의 정규화 상수 C(λ)로 구성한다.
• 교차 엔트로피 손실을 CC 로깅-가능도로 대체한다: l(λ;y) = -log C(λ) - sum_k y_k log λ_k (식 (2)).
• 레이블 스무딩에 CC를 적용하기 위해 원-핫 라벨 대신 단순체값 타깃 y^LS를 사용하고 CC 목표로 CC-LS를 정의한다(식 (7)).
• 액터-모방 강화학습에 CC를 적용하기 위해 AMN 학습 목표를 CC-AMN으로 재해석한다(식 (11)).
• 배치 규범, 드롭아웃, 가중치 감소 설정이 varying일 때 LS, CC-LS, 및 기본값을 비교하기 위한 제거 연구(ablations) 및 정규화 항의 제거 연구를 수행한다.
• 더 큰 K에 대해 CC 정규화 상수의 수치 안정성 및 확장성 한계를 평가한다.

실험 결과

연구 질문

• RQ1 교차 엔트로피를 CC 로깅-가능도로 대체하는 것이 레이블 스무딩에서 규제나 표현 학습을 향상시키는가?
• RQ2 CC-LS가 일반적인 CNN 규제 체제에서 바닐라 레이블 스무딩을 능가하는가?
• RQ3 다중 작업 강화학습 설정에서 CC-AMN이 표준 AMN보다 장점을 보일 수 있는가, 그리고 그것의 실패 모드는 무엇인가?

주요 결과

• CC-LS는 CIFAR-10의 비규제된 CNN에서 LS 및 기본값보다 현저히 우수하며, BatchNorm이 두 경우의 향상을 무효화할 수 있다.
• CC-LS는 배치 규범이 없을 때 특히 일반 LS보다 더 풍부한 학습 표현을 얻을 수 있는 독특한 규제 효과를 제공한다.
• 대부분의 Atari 게임에서 CC-AMN은 AMN과 비슷한 성능을 보이나, 수치 문제로 인해 Pong에서 불안정하고 더 나쁜 결과를 보여준다(λ가 거의 균일할 때 정규화 상수의 수치 이상에서 발생).
• ablation 연구에서 CC-LS는 BatchNorm이 없을 때 이득을 보이고 BatchNorm 없이 가중치 감소를 적용하면 테스트 정확도 변동성을 줄일 수 있다.
• CC-LS와 CC-AMN은 단순체 값 타깃의 확률적 해석이 이점으로 이어질 수 있다는 공통 시사점을 가지지만 아키텍처 및 초기화 효과는 여전히 중요하다.
• CC-AMN은 λ가 거의 균일할 때의 수치적 불안정성에 의한 중요한 실패 모드를 보이며, 고차원 단순체 타깃에 대한 실용적 도전점을 강조한다.