[논문 리뷰] A surrogate loss function for optimization of $F_β$ score in binary classification with imbalanced data

Namgil Lee, Heejung Yang외 1명|arXiv (Cornell University)|2021. 04. 03.

Imbalanced Data Classification Techniques참고 문헌 21인용 수 4

한 줄 요약

이 논문은 불균형 이진 분류에서 $F_\beta$ 점수를 최적화하기 위한 미분 가능한 대체 손실 함수를 제안하며, 딥 네ural 네트워크의 기울기 기반 학습을 통해 $F_\beta$ 성능을 직접 향상시킬 수 있도록 한다. 이 방법은 $F_\beta$ 점수의 기울기 경로를 새로운 손실 설정을 통해 근사하며, 벤치마크 데이터셋에서 ResNet 모델을 사용한 실험에서 표준 손실 함수인 BCE와 매크로 소프트 $F_\beta$보다 뛰어난 $F_\beta$ 점수를 확보한다.

ABSTRACT

The $F_β$ score is a commonly used measure of classification performance, which plays crucial roles in classification tasks with imbalanced data sets. However, the $F_β$ score cannot be used as a loss function by gradient-based learning algorithms for optimizing neural network parameters due to its non-differentiability. On the other hand, commonly used loss functions such as the binary cross-entropy (BCE) loss are not directly related to performance measures such as the $F_β$ score, so that neural networks optimized by using the loss functions may not yield optimal performance measures. In this study, we investigate a relationship between classification performance measures and loss functions in terms of the gradients with respect to the model parameters. Then, we propose a differentiable surrogate loss function for the optimization of the $F_β$ score. We show that the gradient paths of the proposed surrogate $F_β$ loss function approximate the gradient paths of the large sample limit of the $F_β$ score. Through numerical experiments using ResNets and benchmark image data sets, it is demonstrated that the proposed surrogate $F_β$ loss function is effective for optimizing $F_β$ scores under class imbalances in binary classification tasks compared with other loss functions.

연구 동기 및 목표

• 불균형 데이터 설정에서 표준 미분 가능한 손실 함수(예: BCE)와 $F_\beta$와 같은 성능 지표 사이의 불일치 문제를 해결하기 위해.
• 성능 지표인 $F_\beta$의 기울기 조건을 분석하고, 이를 표준 손실 함수와 비교하기 위해.
• 최적화 과정에서 $F_\beta$ 점수의 기울기 동역학을 밀접하게 근사하는 대체 손실 함수를 설계하기 위해.
• 불균형 조건 하에서 딥 러닝 모델(예: ResNet)에서 $F_\beta$ 점수 향상을 위해 제안된 대체 $F_\beta$ 손실의 유효성을 입증하기 위해.
• 조정 가능한 파rameter $q$를 가진 일반화된 형태를 통해 레이블 노이즈에 대한 강건성을 확보하기 위해.

제안 방법

• 표준 손실 함수(예: BCE)의 기울기와 비교하여 $F_\beta$ 점수의 기울기 조건을 유도하기 위해.
• 핵심 점에서 $F_\beta$ 점수의 기울기 방향과 일치하는 대체 $F_\beta$ 손실 함수를 제안하기 위해.
• 모델 출력과 진짜 레이블의 미분 가능한 함수로 대체 손실을 설정하여 확률적 경사 하강법과의 호환성을 확보하기 위해.
• 레이블 노이즈에 대한 강건성을 제어할 수 있도록 파rameter $q$를 가진 일반화된 대체 손실을 도입하여 MAE와 BCE 사이의 보간을 구현하기 위해.
• 훈련 데이터에서 산점도를 사용하여 대체 손실과 실제 $F_\beta$ 점수 간의 기울기 근사를 검증하기 위해.
• 불균형 이미지 벤치마크에서 BCE, 포칼 손실, 매크로 소프트 $F_\beta$와 비교하여 제안된 손실을 사용해 ResNet-34 모델을 훈련하기 위해.

실험 결과

연구 질문

• RQ1 최적화 과정에서 $F_\beta$ 점수의 기울기 경로와 밀접하게 유사한 기울기 경로를 갖는, 미분 가능한 대체 손실을 구성할 수 있는가?
• RQ2 제안된 대체 $F_\beta$ 손실은 불균형 데이터에서 $F_\beta$ 성능 최적화에 있어 표준 손실 함수(예: BCE)와 매크로 소프트 $F_\beta$와 비교해 어떻게 성능을 냈는가?
• RQ3 실제 $F_\beta$ 점수가 비가역적이거나 비연속적인 경우에도 대체 손실이 효과적인 최적화를 유지하는가?
• RQ4 대체 손실은 다중 클래스 설정에서 레이블 노이즈에 대한 강건성을 향상시키기 위해 일반화될 수 있는가?
• RQ5 정확도는 불균형 설정에서 오해의 소지가 있을 수 있으므로, 대체 손실은 정확도 대비 $F_\beta$ 점수를 얼마나 향상시키는가?

주요 결과

• 제안된 대체 $F_\beta$ 손실은 비교된 모든 손실 함수 중에서 검증 세트에서 가장 높은 $F_1$ 점수를 기록하여, $F_\beta$ 지표 최적화에 효과적임을 입증한다.
• 산점도 분석 결과, 모든 $\beta$ 값에서 대체 $F_\beta$ 손실과 실제 $F_\beta$ 점수 사이에 강한 선형 상관관계가 관찰되어 기울기 경로 근사의 효과성을 확인한다.
• 대체 $F_\beta$ 손실은 매크로 소프트 $F_\beta$ 손실보다 $F_\beta$ 점수 최적화에서 뛰어난 성능을 보였으며, 이는 후자가 더 높은 테스트 정확도를 달성했음에도 불구하고 그렇다.
• 대규모 표본 근사에서 대체 $F_\beta$ 손실의 기울기 경로가 $F_\beta$ 점수의 기울기 경로와 밀접하게 유사함을 확인하여 이론적 기반의 타당성을 검증한다.
• 파rameter $q \to 0$일 때 일반화된 대체 $F_{\beta,q}$ 손실은 원래의 대체 $F_\beta$ 손실로 수렴하며, $q=1$일 땐 MAE 손실로 축소됨을 통해 노이즈 강건성에 대한 유연성을 보여준다.
• ResNet-34 모델에 대한 수치 실험 결과, 제안된 대체 $F_\beta$ 손실이 BCE 및 기타 대체 손실보다 불균형 이미지 데이터셋에서 더 뛰어난 $F_\beta$ 성능을 달성함을 확인한다.