[논문 리뷰] Benchmarking Deep AUROC Optimization: Loss Functions and Algorithmic Choices

Dixian Zhu, Xiaodong Wu외 1명|arXiv (Cornell University)|2022. 03. 27.

Imbalanced Data Classification Techniques인용 수 5

한 줄 요약

이 논문은 이미지 및 분자 그래프 데이터셋에서 AUROC 최적화를 위한 10종류의 딥러닝 손실 함수—쌍별 및 복합형—을 벤치마킹하며, 샘플링 비율, 정규화, 최적화 알고리즘과 같은 알고리즘적 선택 사항을 평가한다. 복합형 손실 함수는 학습 수렴성과 일반화 능력에서 쌍별 손실 함수를 능가하며, Adam 최적화 알고리즘은 뛰어난 학습 성능를 보이지만 일반화 능력이 열 劣하다.

ABSTRACT

The area under the ROC curve (AUROC) has been vigorously applied for imbalanced classification and moreover combined with deep learning techniques. However, there is no existing work that provides sound information for peers to choose appropriate deep AUROC maximization techniques. In this work, we fill this gap from three aspects. (i) We benchmark a variety of loss functions with different algorithmic choices for deep AUROC optimization problem. We study the loss functions in two categories: pairwise loss and composite loss, which includes a total of 10 loss functions. Interestingly, we find composite loss, as an innovative loss function class, shows more competitive performance than pairwise loss from both training convergence and testing generalization perspectives. Nevertheless, data with more corrupted labels favors a pairwise symmetric loss. (ii) Moreover, we benchmark and highlight the essential algorithmic choices such as positive sampling rate, regularization, normalization/activation, and optimizers. Key findings include: higher positive sampling rate is likely to be beneficial for deep AUROC maximization; different datasets favors different weights of regularizations; appropriate normalization techniques, such as sigmoid and $\ell_2$ score normalization, could improve model performance. (iii) For optimization aspect, we benchmark SGD-type, Momentum-type, and Adam-type optimizers for both pairwise and composite loss. Our findings show that although Adam-type method is more competitive from training perspective, but it does not outperform others from testing perspective.

연구 동기 및 목표

• 불균형 학습에서 딥 AUROC 최적화에 대한 체계적 벤치마킹의 부족을 해결한다.
• 다양한 알고리즘적 설정 하에서 10종류의 주요 손실 함수—쌍별 및 복합형—의 성능을 평가한다.
• 양성 샘플링 비율, 정규화, 정규화 기법, 최적화 알고리즘과 같은 핵심 알고리즘적 선택 사항이 AUROC 성능에 미치는 영향을 조사한다.
• 딥 AUROC 최대화를 위한 최적의 손실 함수 및 하이퍼파ram터 선택에 실질적인 통찰을 제공한다.
• CIFAR-10, CIFAR-100 등 6개의 이미지 데이터셋과 HIV, MUV, Tox21, ToxCast 등 6개의 분자 그래프 데이터셋을 포함한 6개의 대규모 이미지 및 분자 그래프 데이터셋에서 대규모 실험을 수행한다. 이 중 CheXpert 데이터셋은 191,027개의 샘플을 포함한다.

제안 방법

• 10종류의 손실 함수를 벤치마킹: 5종의 쌍별 손실 함수(PSQ, PSH, PH, PL, PSM, PBH)와 5종의 복합형 손실 함수(CSQ, CSH, CH, CL), 각각 다른 서로서프 손실 구성 요소를 가짐.
• 모든 손실 함수를 일관된 하이퍼파ram터 튜닝을 통해 동일한 프레임워크에서 평가하기 위해 통합된 학습 프레임워크를 구현.
• 알고리즘적 선택 사항을 체계적으로 변화시킴: 양성 샘플링 비율(0.1에서 0.5 사이), L2 정규화, 가중치 감쇠, 정규화 기법(sigmoid, ℓ₂ 스코어 정규화).
• 세 가지 최적화 알고리즘 유형을 비교: SGD 유형, 모멘텀 유형, Adam 유형. 학습률를 {1e-1, 1e-2, 1e-3, 1e-4, 1e-5} 범위에서 튜닝.
• 6개의 이미지 데이터셋(CIFAR-10, CIFAR-100 등)과 6개의 분자 그래프 데이터셋(HIV, MUV, Tox21, ToxCast 등)에서 학습. 이 중 CheXpert는 191,027개의 샘플을 포함.
• 통계적 탄력성을 확보하기 위해 14,400개의 고유 실험 실행에서 AUROC 점수와 표준편차를 보고.

실험 결과

연구 질문

• RQ1 딥 AUROC 최적화에서 복합형 손실 함수와 쌍별 손실 함수는 학습 수렴성과 테스트 일반화 능력 측면에서 어떻게 비교되는가?
• RQ2 양성 샘플링 비율은 AUROC 성능에 어떤 영향을 미치며, 이는 데이터셋 간에 다를 수 있는가?
• RQ3 특정 정규화 및 활성화 기법(sigmoid, ℓ₂ 정규화 등)은 딥 모델의 AUROC 성능을 어떻게 향상시키는가?
• RQ4 다른 최적화 알고리즘(SGD, 모멘텀, Adam)은 학습 및 테스트 AUROC에 어떤 영향을 미치며, 특히 일반화 능력 측면에서 어떻게 다를 수 있는가?
• RQ5 라벨 손상이 대칭형 쌍별 손실 함수를 다른 손실 유형보다 선호하게 영향을 미치는가?

주요 결과

• 복합형 손실 함수는 학습 수렴성과 테스트 일반화 능력에서 모두 쌍별 손실 함수를 뛰어넘으며, 이미지 데이터셋에서 평균 AUROC 0.824, 분자 데이터셋에서 0.818를 기록한다.
• 손상된 라벨을 가진 데이터셋에서는 대칭형 쌍별 손실 함수(예: PSM)가 비대칭형 변형보다 뛰어난 성능을 보인다.
• 높은 양성 샘플링 비율(최대 0.5)은 장수직 및 불균형 설정에서 AUROC 성능을 향상시킨다.
• Sigmoid 및 ℓ₂ 스코어 정규화 기법은 모델 성능을 크게 향상시키며, 특히 분자 데이터셋에서 ℓ₂ 정규화가 두드러진 성능 향상을 보인다.
• Adam 유형 최적화 알고리즘은 더 빠른 학습 수렴성과 높은 학습 AUROC를 달성하지만, 테스트 데이터에서 성능이 열 劣하여 일반화 능력이 열 劣함—이전 연구 결과와 일치한다.
• 복합형 손실 함수는 쌍별 손실 함수보다 더 빠르게 수렴하며, 반복당 처리 시간이 짧아 대규모 학습에 더 효율적이다.