[논문 리뷰] Class-Similarity Based Label Smoothing for Generalized Confidence Calibration.

Chihuang Liu, Joseph F. JáJá|arXiv (Cornell University)|2020. 06. 24.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 5

한 줄 요약

이 논문은 클래스 간의 의미적 및 구조적 유사성을 활용하여, 신경망의 신뢰도 캘리브레이션을 향상시키기 위해 클래스 유사성 기반 레이블 스무딩을 제안한다. 균일한 레이블 스무딩을 유사성 기반 레이블 분포로 대체함으로써, 특히 복잡한 클래스 관계가 존재하는 상황에서 기존 방법에 비해 뛰어난 캘리브레이션 성능을 달성한다.

ABSTRACT

Since modern neural networks are known to be overconfident, several techniques have been recently introduced to address this problem and improve calibration. However, the current notion of calibration is overly simple since only single prediction confidence is considered while the information regarding the rest of the classes is ignored. The output of a neural network is a probability distribution where the scores are estimated confidences of the input belonging to the corresponding classes, and hence they represent a complete estimate of the output likelihood that should be calibrated. In this paper, we first introduce a generalized definition of confidence calibration, which motivates the development of a novel form of label smoothing where the value of each class label is based on its similarity with the reference class. We adopt different similarity measurements, including those that capture semantic similarity, and demonstrate through extensive experiments the advantage of our method over both uniform label smoothing and other techniques.

연구 동기 및 목표

• 현대 신경망에서 예측 확률 출력의 과신뢰 문제를 해결하기 위해, 이는 보정이 부족한 데 기인한다.
• 예측 클래스의 신뢰도에만 초점을 맞추는 전통적 보정 방법의 한계를 극복하기 위해, 전체 확률 분포를 무시하는 것을 방지한다.
• 유사성 측정을 통해 상호 클래스 관계를 통합하는 일반화된 신뢰도 보정 프레임워크를 개발한다.
• 균일한 레이블 스무딩을 의미적 또는 구조적 클래스 관계를 반영하는 유사성 인식 레이블 스무딩으로 대체하여 모델의 보정을 향상시킨다.
• 제안된 방법이 균일한 레이블 스무딩 및 기타 최첨단 보정 기법보다 우월하다는 것을 경험적으로 검증한다.

제안 방법

• 예측 클래스뿐 아니라 전체 출력 확률 분포를 고려하는 일반화된 신뢰도 보정 정의를 제안한다.
• 각 클래스의 레이블 값이 기준 클래스와의 유사성에 의해 결정되는 새로운 레이블 스무딩 기법을 도입하며, 이는 의미적 임베딩 또는 구조적 특징과 같은 메트릭을 사용한다.
• 코사인 유사도와 같은 다양한 유사성 측정 방법—예를 들어 단어 임베딩 또는 학습된 표현에서의 유사도—를 사용하여 클래스별 스무딩 값을 계산한다.
• 학습 중 소프트 레이블을 조정하여 진짜 클래스와 유사한 클래스들이 더 높은 스무딩 가중치를 받도록 하여 더 현실적인 확률 분포를 도출한다.
• 이러한 유사성 기반 소프트 레이블을 사용하여 교차 엔트로피 손실을 통해 신경망을 훈련함으로써 추론 과정을 수정하지 않고도 보정을 향상시킨다.
• 다양한 데이터셋과 아키텍처를 통해 보다 강건하고 일반화 능력이 뛰어난 성능을 평가하기 위해 방법을 적용한다.

실험 결과

연구 질문

• RQ1 균일한 레이블 스무딩과 비교해 클래스 유사성을 레이블 스무딩에 통합할 경우 모델의 보정 성능에 어떤 영향을 미치는가?
• RQ2 전체 확률 분포를 고려하는 일반화된 보정 정의는 모델의 신뢰도 추정에 더 나은 성능을 제공할 수 있는가?
• RQ3 클래스 간 의미적 유사성 측정을 사용할 경우, 특히 미세 분류나 의미적으로 관련된 분류 작업에서 보정 성능이 향상되는가?
• RQ4 기존의 보정 기법과 비교해 제안된 방법은 예측 확률의 정확성과 신뢰성 측면에서 어떤가?
• RQ5 다양한 유사성 메트릭(예: 의미적 vs. 구조적)이 딥 신경망의 보정 성능에 어느 정도의 영향을 미치는가?

주요 결과

• 제안된 클래스 유사성 기반 레이블 스무딩은 여러 벤치마크 데이터셋에서 균일한 레이블 스무딩에 비해 보정 성능을 크게 향상시킨다.
• 유사성 기반 스무딩을 사용해 훈련한 모델는 표준 레이블 스무딩 또는 스무딩 없이 훈련한 모델보다 기대 캘리브레이션 오차(Expected Calibration Error, ECE)가 낮다.
• 정확도를 희생시키지 않고도 보정 성능을 향상시켜 정확도와 신뢰도 보정 사이의 유리한 트레이드오���을 보여준다.
• 예를 들어 사전 학습된 단어 임베딩에서 유도된 의미적 유사성 측정은 특히 미세 분류 작업에서 더 효과적인 스무딩과 보정 향상을 이끌어낸다.
• 일반화된 보정 프레임워크는 상호 클래스 관계를 효과적으로 포착하여 더 신뢰할 수 있고 잘 캘리브레이션된 확률 출력을 도출한다.
• 이 방법은 다양한 아키텍처와 데이터셋에 걸쳐 잘 일반화되며, 보정 지표에서 일관된 향상을 보인다.