[논문 리뷰] Adaptive Sampling for Minimax Fair Classification

Shubhanshu Shekhar, Fields, Greg외 2명|arXiv (Cornell University)|2021. 03. 01.

Imbalanced Data Classification Techniques참고 문헌 27인용 수 5

한 줄 요약

이 논문은 불확실성에 대비하여 낙관주의 원리를 적용한 전략적 접근을 통해 불균형한 그룹의 훈련 데이터를 선별적으로 선택함으로써 최소최대 정의로운 분류 성능을 향상시키는 적응형 샘플링 알고리즘 $τ_{\texttt{opt}}$을 제안한다. 이 방법은 합성 및 실세계 작업, 특히 Cifar10, UTKFace, 그리고 표형 데이터에서 균일 샘플링과 비교해 최악의 그룹 정확도가 최대 4.5% 향상되는 등 거의 최소최대 최적의 성능을 달성한다.

ABSTRACT

Machine learning models trained on uncurated datasets can often end up adversely affecting inputs belonging to underrepresented groups. To address this issue, we consider the problem of adaptively constructing training sets which allow us to learn classifiers that are fair in a minimax sense. We first propose an adaptive sampling algorithm based on the principle of optimism, and derive theoretical bounds on its performance. We also propose heuristic extensions of this algorithm suitable for application to large scale, practical problems. Next, by deriving algorithm independent lower-bounds for a specific class of problems, we show that the performance achieved by our adaptive scheme cannot be improved in general. We then validate the benefits of adaptively constructing training sets via experiments on synthetic tasks with logistic regression classifiers, as well as on several real-world tasks using convolutional neural networks (CNNs).

연구 동기 및 목표

• 최소최대 정의로운 기준 하에서 예측 정확도가 가장 낮은 그룹의 성능을 향상시킴으로써 머신러닝에서의 정의로움을 개선하기 위해.
• 사전에 그룹의 난이도를 알지 못한 채 어려운 학습이 필요한 그룹에 훈련 예산을 동적으로 할당하는 적응형 샘플링 전략을 개발하기 위해.
• 최소최대 정의로움 하에서 제안된 샘플링 기법의 수렴성과 최적성에 대한 이론적 분석을 수행하기 위해.
• 로지스틱 회귀 및 딥러닝 모델을 사용한 이미지 및 표형 데이터를 포함한 다양한 데이터셋에서 방법의 실증적 검증을 수행하기 위해.
• 추론 단계에서 그룹 신원을 기반으로 하지 않고도 우수한 정의로운 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 핵심 방법인 $\mathcal{A}_{\texttt{opt}}$는 밴딧 이론에서 유래한 낙관주의 원리를 활용하여 그룹별 예측 위험의 불확실성을 추정하고, 높은 불확실성을 가진 그룹에서 샘플을 우선 선택한다.
• 알고리즘은 위험 추정치에 대한 신뢰구간을 유지하며, 탐색과 이용을 균형 잡기 위해 상한 신뢰구간이 가장 높은 그룹에서 샘플을 선택한다.
• 이론적 분석을 통해 수렴 속도의 상한을 도출하고, 문제 클래스에 대해 유사한 하한을 유도함으로써 $\mathcal{A}_{\texttt{opt}}$의 거의 최소최대 최적성( near-minimax optimality )을 증명한다.
• 특히 딥 네트워크와 같은 대규모 응용을 위해 계산 효율성을 높이기 위해 $\mathcal{A}_{\texttt{opt}}$의 히우리스틱 변형을 도입한다.
• 활동 학습 환경에서, 추정된 위험 불균형에 따라 다양한 보호 그룹으로부터 샘플을 순차적으로 추출하는 방식으로 방법을 적용한다.
• 실험에서는 Cifar10, UTKFace, FashionMNIST, 독일 데이터셋 등 다양한 데이터셋과 모델(딥러닝 및 로지스틱 회귀)에서 $\mathcal{A}_{\texttt{opt}}$를 균일 샘플링 및 게으른 샘플링 전략과 비교한다.

실험 결과

연구 질문

• RQ1 적응형 샘플링 전략은 불균형한 그룹에 훈련 데이터를 동적으로 할당함으로써 최소최대 정의로운 분류 성능을 향상시킬 수 있는가?
• RQ2 제안된 낙관주의 기반 샘플링 알고리즘이 최소최대 정의로운 분류 문제에서 이론적으로 거의 최소최대 최적인가?
• RQ3 실세계 및 합성 데이터셋에서 적응형 샘플링의 성능은 균일 및 게으른 샘플링 전략과 비교해 어떻게 되는가?
• RQ4 이상적 샘플링 방법은 이미지 및 표형 분류 작업에서 최악의 그룹 정확도를 얼마나 향상시키는가?
• RQ5 이 알고리즘은 다양한 데이터 분포와 모델 아키텍처에서 정의로운 성능 향상을 유지하는가?

주요 결과

• Cifar10에서 $\mathcal{A}_{\texttt{opt}}$는 속성별 최소 테스트 정확도 0.743 ± 0.004를 기록했으며, 이는 균일 샘플링(0.726 ± 0.010)보다 1.7%p 높은 성능이다.
• UTKFace에서 $\mathcal{A}_{\texttt{opt}}$는 최소 정확도 0.946 ± 0.003을 기록했으며, 이는 균일 샘플링(0.919 ± 0.008)을 뚜렷이 앞서는 성능이다.
• FashionMNIST에서 $\mathcal{A}_{\texttt{opt}}$는 최소 정확도 0.936 ± 0.004를 기록했으며, 이는 균일 샘플링(0.893 ± 0.002)을 4.3%p 초월한다.
• 독일 데이터셋에서 $\mathcal{A}_{\texttt{opt}}$는 최소 정확도 0.721 ± 0.035를 기록했으며, 작은 데이터셋 크기로 인한 높은 분산에도 불구하고 균일 샘플링(0.716 ± 0.032)보다 일관되게 향상된 성능을 보였다.
• 모든 데이터셋에서 적응형 전략은 최악의 그룹 정확도를 일관되게 향상시켰으며, 특히 Cifar10 및 UTKFace와 같이 불균형하거나 복잡한 데이터셋에서 상대적 성과 향상이 가장 두드러졌다.
• 이론적 분석을 통해 $\mathcal{A}_{\texttt{opt}}$의 성능가 거의 최소최대 최적이며, 문제 클래스에 대해 도출된 초과 위험 하한과 일치함을 확인했다.