[논문 리뷰] sigmoidF1: A Smooth F1 Score Surrogate Loss for Multilabel Classification

G. F. Benedict, Vincent Koops외 2명|arXiv (Cornell University)|2021. 08. 24.

Machine Learning and Data Classification인용 수 13

한 줄 요약

이 논문은 다중 레이블 분류에서 매크로 F1 점수를 직접 최적화하기 위해 F1 계산 내의 단계 함수를 시그모이드로 근사함으로써 부드럽고 미분 가능한 대체 손실인 sigmoidF1을 소개한다. 이는 네 가지 다양한 데이터셋(텍스트 1개, 이미지 3개)에서 여러 지표에서 표준 손실(예: 교차 엔트로피)을 능가하며, 성능 향상을 위해 메트릭 인식 손실을 사용하는 것이 다중 레이블 설정에서 유의미하다는 것을 입증한다.

ABSTRACT

Multiclass multilabel classification is the task of attributing multiple labels to examples via predictions. Current models formulate a reduction of the multilabel setting into either multiple binary classifications or multiclass classification, allowing for the use of existing loss functions (sigmoid, cross-entropy, logistic, etc.). Multilabel classification reductions do not accommodate for the prediction of varying numbers of labels per example and the underlying losses are distant estimates of the performance metrics. We propose a loss function, sigmoidF1, which is an approximation of the F1 score that (1) is smooth and tractable for stochastic gradient descent, (2) naturally approximates a multilabel metric, and (3) estimates label propensities and label counts. We show that any confusion matrix metric can be formulated with a smooth surrogate. We evaluate the proposed loss function on text and image datasets, and with a variety of metrics, to account for the complexity of multilabel classification evaluation. sigmoidF1 outperforms other loss functions on one text and two image datasets and several metrics. These results show the effectiveness of using inference-time metrics as loss functions for non-trivial classification problems like multilabel classification.

연구 동기 및 목표

• 다중 레이블 분류에서 표준 손실 함수(예: 교차 엔트로피)와 평가 지표(예: F1) 사이의 부일치 문제를 해결한다.
• F1과 같은 비가역 지표를 최적화하는 데 어려움이 있음을 극복하기 위해 시그모이드 근사 기반의 부드러운 대체 손실을 제안한다.
• 단일 통합 손실 함수 내에서 레이블 예측과 레이블 수 추정을 동시에 최적화할 수 있도록 한다.
• 추론 시간 지표를 훈련 목표로 사용할 경우, 다양한 모odal과 아키텍처에서 더 우수한 일반화 성능을 달성할 수 있음을 입증한다.

제안 방법

• F1 계산 내의 딱딱한 임계값 처리 단계를 대체하기 위해 시그모이드 함수를 사용한 매크로 F1 점수의 부드럽고 미분 가능한 근사치를 제안한다.
• 로그릿에 대한 연속 함수로 대체 F1 점수를 정의함으로써, 확률적 경사 하강법을 통한 역전파를 가능하게 한다.
• 손실를 $\mathcal{L}_{\widetilde{\mathit{F1}}} = 1 - \widetilde{\mathit{F1}}$ 로 정의하여 부드러운 F1 점수의 역수를 최소화한다.
• 표준 딥 러닝 파이프라인에 손실를 통합하여 분류 헤드와 시그모이드 활성화 함수를 사용함으로써 엔드 투 엔드 훈련을 가능하게 한다.
• 모든 클래스를 아우르는 메트릭의 전역 최적화를 보장하기 위해 배치 수준의 매크로 F1 계산을 사용한다.
• 초기 설정에 민감하지 않으면서도 뛰어난 성능을 유지하는 불한정 변형인 unboundedF1을 도입한다.

실험 결과

연구 질문

• RQ1 다중 레이블 분류에서 훈련 중 직접 최적화가 가능한 매크로 F1 점수의 부드럽고 미분 가능한 대체 손실을 구성할 수 있는가?
• RQ2 sigmoidF1로 최적화할 경우, 기존의 손실(예: 교차 엔트로피) 대비 표준 다중 레이블 지표에서 성능 향상이 이루어지는가?
• RQ3 sigmoidF1는 다양한 데이터 모달리티(텍스트, 이미지), 모델 아키텍처 및 데이터셋 크기에서 얼마나 견고한가?
• RQ4 제안된 손실은 다중 레이블 설정에서 레이블 예측 정확도와 레이블 수 추정을 동시에 향상시킬 수 있는가?
• RQ5 다중 레이블 학습에서 표준 교차 엔트로피 대비 메트릭 기반 손실(예: F1)을 훈련 목표로 사용할 경우 어떤 영향을 미치는가?

주요 결과

• sigmoidF1는 텍스트 1개와 이미지 3개의 데이터셋에서 가중 F1 지표에서 표준 교차 엔트로피 및 기타 기준 손실을 모두 능가한다.
• 다양한 데이터셋과 모델 아키텍처에서 정밀도, 재현도, F1 등 여러 지표에서 일관된 성능 향상을 달성한다.
• MS-COCO 이미지 데이터셋에서 sigmoidF1는 매크로 F1 15.20을 기록하여 벤치마크에서 다른 손실보다 뛰어난 성능을 보였다.
• 초기 설정이 제거된 unboundedF1 변형은 대부분의 지표에서 표준 다중 클래스 손실보다 더 우수한 결과를 도출했다.
• CNN 및 BERT 기반 모델을 포함한 다양한 모델 유형에서 성능 향상이 관찰되어 아키텍처 및 모달리티에 관계없이 뛰어난 견고성을 보였다.
• 연구는 metric 인식 손실(예: sigmoidF1)을 사용해 훈련할 경우 훈련 목표와 평가 지표 간의 일치도 향상됨을 경험적으로 입증한다.