[논문 리뷰] AutoBalance: Optimized Loss Functions for Imbalanced Data

Mingchen Li, Xuechen Zhang외 3명|arXiv (Cornell University)|2022. 01. 04.

Imbalanced Data Classification Techniques인용 수 27

한 줄 요약

AutoBalance는 불균형 데이터에서 공정성 지향 성능을 향상시키기 위해 손실 함수와 개인화된 데이터 증강을 자동으로 설계하는 이중 최적화 프레임워크를 사용합니다.

ABSTRACT

Imbalanced datasets are commonplace in modern machine learning problems. The presence of under-represented classes or groups with sensitive attributes results in concerns about generalization and fairness. Such concerns are further exacerbated by the fact that large capacity deep nets can perfectly fit the training data and appear to achieve perfect accuracy and fairness during training, but perform poorly during test. To address these challenges, we propose AutoBalance, a bi-level optimization framework that automatically designs a training loss function to optimize a blend of accuracy and fairness-seeking objectives. Specifically, a lower-level problem trains the model weights, and an upper-level problem tunes the loss function by monitoring and optimizing the desired objective over the validation data. Our loss design enables personalized treatment for classes/groups by employing a parametric cross-entropy loss and individualized data augmentation schemes. We evaluate the benefits and performance of our approach for the application scenarios of imbalanced and group-sensitive classification. Extensive empirical evaluations demonstrate the benefits of AutoBalance over state-of-the-art approaches. Our experimental findings are complemented with theoretical insights on loss function design and the benefits of train-validation split. All code is available open-source.

연구 동기 및 목표

• 불균형 데이터셋에서 고용량 모델의 일반화 및 공정성 우려를 자극하고 해결합니다.
• 테스트 세트에서 공정성 추구 목적을 최적화하는 손실 함수를 설계하는 원칙적 방법을 개발합니다.
• 매개변수화된 손실 함수를 통해 클래스 또는 그룹에 맞춘 개인화된 처리와 클래스별 증강을 가능하게 합니다.
• 손실 설계, 학습-검증 분할, 그리고 이들의 최적화 역학에 대한 이론적 통찰을 제공합니다.
• 여러 가지 롱테일 및 그룹 민감한 분류 작업에서 최첨단 방법 대비 실험적 이득을 입증합니다.

제안 방법

• 하위 레벨 문제에서 모델 가중치를 학습하고 상위 레벨 문제에서 손실 함수 하이퍼파라미터를 조정하는 이중 최적화 프레임워크를 제안합니다.
• 세 벡터(w, l, Δ)로 구성된 매개변수화된 교차 엔트로피 손실을 사용하여 추가적( l ) 및 곱셈적( Δ ) 로짓과 가중치를 통해 클래스별 조정을 가능하게 합니다.
• 각 클래스나 그룹에 개인화될 수 있는 데이터 증강 정책(A_y)을 도입하고 Δ를 시그모이드로 클램프하여 (0,1) 구간을 유지합니다.
• 소실(loss)을 y별로 bias를 주며 w_y, l_y, Δ_y, 증강을 통합하는 ell_train로 하위 레벨 손실을 구성합니다.
• 임의 미분을 사용하여 α에 대한 하이퍼그래디언트를 계산하고 이함수 정리의 가정을 만족시키기 위한 예열(warm-up) 단계를 사용합니다.
• 부분공간 임베딩(l′, Δ′)과 주파수 의존적 사전 D_π를 사용하여 유사 주파수 클래스 간 하이퍼파라미터를 공유하고 하이퍼파라미터 탐색 복잡도를 줄입니다.
• 검증 세트 기반 최적화를 적용하여 원하는 공정성 목표에 맞춰 손실 함수 설계를 이끄는 한편, 발견된 α★로 전체 데이터에서 재학습합니다.

실험 결과

연구 질문

• RQ1 불균형 데이터에서 공정성 관련 지표(예: 균형된 정확도)를 향상시키는 손실 함수를 자동으로 설계할 수 있는가?
• RQ2 이중 최적화가 클래스별 또는 그룹별 손실 조정 및 증강을 테스트 시간 성능에 맞게 효과적으로 맞출 수 있는가?
• RQ3 개인화된 데이터 증강이 판정 경계를 이동시켜 소수 그룹 또는 클래스에 이익이 되도록 하는 역할은 무엇인가?
• RQ4 클러스터링과 임베딩을 통한 축소된 하이퍼파라미터 탐색 공간이 성능을 유지하면서 수렴을 개선하는가?

주요 결과

방법	CIFAR10-LT	CIFAR100-LT	ImageNet-LT	iNaturalist
Cross-Entropy	30.45	62.69	55.47	39.72
LDAM loss [8]	26.37	59.47	54.21	35.63
LA loss (τ=1) [59]	23.13	58.96	52.46	34.06
CDT loss [75]	20.73	57.26	53.47	34.46
AutoBalance: τ of LA loss	21.82	58.68	52.39	34.19
AutoBalance: l vector	23.02	58.71	52.60	34.35
AutoBalance: Δ vector	22.59	58.40	53.02	34.37
AutoBalance: Δ & l	21.39	56.84	51.74	33.41
AutoBalance: Δ & l, LA init	21.15	56.70	50.91	33.25

• AutoBalance는 소수 클래스의 가중치를 높이는 손실 함수 하이퍼파라미터를 발견하여 이론적 직관과 일치합니다.
• 덧셈적(l) 및 곱셈적(Δ) 로짓 조정을 함께 학습하면 공정성-성능의 균형이 향상됩니다.
• 개인화된 데이터 증강(PDA)은 단일 일반 증강 정책 이상으로 균형된 정확도를 추가로 향상시킵니다.
• Δ와 l 디자인은 CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT, iNaturalist 데이터셋에서 baselines를 능가합니다.
• LA 손실의 초기화(τ)를 사용한 초기화는 정확도를 더욱 향상시키는 경향이 있어 워밍업의 이점을 시사합니다.
• 표 전반에서 Δ 및 l 조합은 롱테일 및 그룹 민감한 설정에서 최첨단 방법을 능가합니다.