[논문 리뷰] What's in a Loss Function for Image Classification?

Simon Kornblith, Honglak Lee외 2명|arXiv (Cornell University)|2020. 10. 30.

Machine Learning and Data Classification참고 문헌 38인용 수 7

한 줄 요약

이 논문은 다양한 손실 함수와 정규화 전략이 이미지 분류 성능에 미치는 영향을 조사하며, 레이블 스무딩과 같은 개선된 목표 함수가 최종층 이전의 특징 공간에서 클래스 간 분리도를 향상시켜 정확도와 校정성(calibration)을 향상시키지만, 후속 작업으로의 특징 전이 가능성을 감소시킨다는 것을 보여준다. 핵심 통찰은 성능 향상 요인이 깊은 표현 변화가 아니라 더 나은 결정 경계를 만드는 데 있음을 시사한다.

ABSTRACT

It is common to use the softmax cross-entropy loss to train neural networks on classification datasets where a single class label is assigned to each example. However, it has been shown that modifying softmax cross-entropy with label smoothing or regularizers such as dropout can lead to higher performance. This paper studies a variety of loss functions and output layer regularization strategies on image classification tasks. We observe meaningful differences in model predictions, accuracy, calibration, and out-of-distribution robustness for networks trained with different objectives. However, differences in hidden representations of networks trained with different objectives are restricted to the last few layers; representational similarity reveals no differences among network layers that are not close to the output. We show that all objectives that improve over vanilla softmax loss produce greater class separation in the penultimate layer of the network, which potentially accounts for improved performance on the original task, but results in features that transfer worse to other tasks.

연구 동기 및 목표

• 손실 함수와 출력층 정규화 전략의 변화가 이미지 분류에서 모델 성능, 校정성(calibration), 그리고 내성적 저항성에 미치는 영향를 이해하기 위해.
• 다른 학습 목표 함수가 신경망의 각 층에서 학습된 표현에 의미 있는 변화를 초래하는지 조사하기 위해.
• 다양한 목표 함수 하에서 학습된 특징의 도메인 내 성능과 전이 가능성 사이의 상호 교환 관계를 평가하기 위해.
• 학습 목표 함수의 어떤 구성 요소가 모델 행동과 일반화에 가장 크게 영향을 미치는지 특정하기 위해.

제안 방법

• 기본적인 소프트맥스 교차엔트로피 외에도 레이블 스무딩 교차엔트로피 및 드롭아웃 등의 정규화 변형을 포함한 다양한 손실 함수를 비교하였다.
• 아키텍처와 데이터를 동일하게 유지하면서 다양한 목표 함수를 사용해 표준 이미지 분류 벤치마크에서 딥 신경망을 학습시켰다.
• 표현 유사도 분석(RSA)을 통해 각 층과 학습 목표 함수 간의 은닉 표현을 분석하였다.
• 도메인 내 정확도, 校정성(예: 기대 校정 오차), 그리고 도메인 외부에 대한 저항성 등에서 모델 성능을 평가하였다.
• 최종층 이전의 특징 공간에서 클래스 간 거리와 클래스 내 거리와 같은 지표를 사용해 클래스 간 분리도를 정량화하였다.
• 다음 작업의 비디오 과제에서 특징를 미세조정하여 성능 향상을 측정함으로써 전이 가능성을 평가하였다.

실험 결과

연구 질문

• RQ1 다양한 손실 함수가 이미지 분류기의 정확도, 校정성(calibration), 그리고 도메인 외부 저항성에 어떤 영향을 미치는가?
• RQ2 다른 학습 목표 함수가 딥 신경망에서 학습된 표현에 얼마나 큰 영향을 미치는가?
• RQ3 성능 차이가 조기 또는 말기 층의 표현 변화에서 기인하는가, 그리고 주로 어디서 발생하는가?
• RQ4 기존 작업에서의 성능 향상과 다른 작업으로의 전이 가능성 향상 간 상관관계가 있는가?
• RQ5 최종층 이전의 특징 공간에서의 클래스 간 분리도와 전체 모델 성능 사이의 관계는 무엇인가?

주요 결과

• 기본 소프트맥스 교차엔트로피를 개선한 손실 함수, 예를 들어 레이블 스무딩은 이미지 분류 벤치마크에서 더 높은 정확도와 더 나은 校정성(calibration)을 제공한다.
• 개선된 목표 함수는 최종층 이전의 특징 공간에서 유의미하게 높은 클래스 간 분리도를 유도하며, 이는 도메인 내 성능 향상과 상관관계가 있다.
• 신경망의 각 층 간 은닉 표현의 차이는 미미하며 주로 최종 몇 층에 국한되어 있어, 표현 변화가 출력 근처에 국소화되어 있음을 시사한다.
• 원래 작업에서의 성능 향상에도 불구하고, 고급 목표 함수로 학습된 모델들은 후속 작업으로의 전이 가능성에서 열 劣화된다.
• 정확도와 校정성(calibration) 향상 요인이 주로 최종층 이전의 특징 공간에서 개선된 결정 경계 덕분이지, 초기 특징 계층의 변화 때문이 아니라는 점이 확인되었다.
• 도메인 내 성능과 전이 가능성 사이의 상호 교환 관계는 출력층의 강한 정규화가 새로운 작업으로의 일반화 능력을 해칠 수 있음을 시사한다.