[논문 리뷰] Rediscovering BCE Loss for Uniform Classification

Qiufu Li, Xi Jia외 3명|arXiv (Cornell University)|2024. 03. 12.

Currency Recognition and Detection인용 수 12

한 줄 요약

본 논문은 통일 임계값을 갖는 균일 분류를 소개하고 학습 가능한 바이어스를 갖는 BCE 기반 손실을 도출하여 통일 임계값을 산출하며, BCE 손실이 SoftMax에 비해 여러 데이터셋과 특징 추출기에서 균일성 및 샘플 단위 정확도를 향상시킨다고 보인다.

ABSTRACT

This paper introduces the concept of uniform classification, which employs a unified threshold to classify all samples rather than adaptive threshold classifying each individual sample. We also propose the uniform classification accuracy as a metric to measure the model's performance in uniform classification. Furthermore, begin with a naive loss, we mathematically derive a loss function suitable for the uniform classification, which is the BCE function integrated with a unified bias. We demonstrate the unified threshold could be learned via the bias. The extensive experiments on six classification datasets and three feature extraction models show that, compared to the SoftMax loss, the models trained with the BCE loss not only exhibit higher uniform classification accuracy but also higher sample-wise classification accuracy. In addition, the learned bias from BCE loss is very close to the unified threshold used in the uniform classification. The features extracted by the models trained with BCE loss not only possess uniformity but also demonstrate better intra-class compactness and inter-class distinctiveness, yielding superior performance on open-set tasks such as face recognition.

연구 동기 및 목표

• 균일 분류의 개념과 클래스별 균일 분류를 도입한다.
• 균일 성능에 대한 새로운 지표를 정의하고 비교한다(균일 분류 정확도를 포함하여).
• 학습 가능한 바이어스를 갖는 BCE 기반 손실을 도출하여 통일된 임계값을 강제한다.
• 데이터셋과 모델 전반에서 균일 및 샘플 단위 작업에서 BCE 손실이 SoftMax에 비해 이점을 보임을 입증한다.

제안 방법

• 균일 분류와 그 지표들(균일 정확도, 클래스별 균일 정확도, 샘플별 정확도)을 정의한다.
• SoftMax 및 BCE 손실을 재도출하고 이들의 바이어스를 특징 균일성과 연관시킨다.
• 학습 가능한 바이어스를 갖춘 두 개의 BCE 기반 균일 손실(L_bce-u, L_bce-d)을 설계하여 통일된 임계값으로 수렴하도록 한다.
• 특정 조건 하에서 바이어스가 통일된 임계값으로 수렴한다는 이론적 수렴 결과를 제공한다.
• 선형 및 정규화된 분류기를 사용하여 여섯 개 데이터셋과 세 가지 특징 추출기에 대해 실증 검증한다.

Figure 1: The visual comparison of performance of ResNet50 trained by $L_{\text{soft-nu}}$ and $L_{\text{bce-nu}}$ with various $\gamma$ on ImageNet-1K. Although $L_{\text{bce-nu}}$ performs poorly when $\gamma$ is too small or too large, for $\gamma$ varying in $[32,192]$ , its uniform accuracy is

실험 결과

연구 질문

• RQ1 모든 샘플에 걸친 하나의 단일 임계값이 오픈 세트 및 균일 분류 작업을 개선할 수 있는가?
• RQ2 학습 가능한 바이어스를 갖는 BCE 기반 손실이 SoftMax 손실보다 더 균일한 특징과 더 높은 균일 분류 정확도를 낳는가?
• RQ3 다른 BCE 기반 균일 손실은 수렴성과 오픈 세트 및 얼굴 인식 작업에서의 성능 면에서 어떻게 비교되는가?
• RQ4 학습된 바이어스가 균일 분류에 사용되는 통일 임계값과 어느 정도 일치하는가?
• RQ5 BCE 기반 훈련에서 특징 균일성, 클래스 내 응집도, 클래스 간 구별성 간의 관계는 어떤가?

주요 결과

• 통일 바이어스를 갖는 BCE 손실은 균일 분류를 위한 통일 임계값을 학습할 수 있다.
• BCE 손실로 학습된 모델은 여러 데이터셋에서 SoftMax 손실보다 더 높은 균일 분류 정확도를 달성한다.
• BCE 기반 손실에서 학습된 바이어스는 균일 분류에 사용된 통일 임계값에 거의 근접하다.
• BCE로 학습된 모델의 특징은 균일성, 클래스 내 응집도, 클래스 간 구분성이 향상되어 얼굴 인식과 같은 오픈 세트 작업에 이익을 준다.
• 두 가지 BCE 기반 균일 손실(L_bce-u 및 L_bce-d)이 제안되었고 특정 조건에서 임계값으로 수렴하는 것이 보였다.

Figure 2: The distributions of positive and negative classification metrics of ResNet50 trained by $L_{\text{soft-nu}}$ (left) and $L_{\text{bce-nu}}$ (right) on ImageNet-1K. The smaller overlap between the positive and negative metrics of $L_{\text{bce-u}}$ and $L_{\text{bce-nu}}$ indicates that th