[논문 리뷰] A Near-Optimal Algorithm for Debiasing Trained Machine Learning Models

Ibrahim Alabdulmohsin, Mario Lučić|arXiv (Cornell University)|2021. 06. 06.

Adversarial Robustness in Machine Learning참고 문헌 55인용 수 7

한 줄 요약

이 논문은 정규화된 최적화 문제를 통해 투입된 확률적 경사 하강법( projected SGD)을 사용하여 훈련된 기계학습 모델—특히 딥 네ural 네트워크—의 편향을 제거하기 위한 near-optimal 후처리 알고리즘인 랜덤라이즈드 스위치 최적화기(RTO)를 제안한다. RTO는 near-optimal 초과 베이지스 리스크를 달성하며, 이는 이전의 후처리 방법들보다 뚜렷이 뛰어나며, 동시에 내재 처리(in-processing) 성능과도 맞먹는다. 특히 대규모 모델에서 뛰어난 성능을 보인다.

ABSTRACT

We present a scalable post-processing algorithm for debiasing trained models, including deep neural networks (DNNs), which we prove to be near-optimal by bounding its excess Bayes risk. We empirically validate its advantages on standard benchmark datasets across both classical algorithms as well as modern DNN architectures and demonstrate that it outperforms previous post-processing methods while performing on par with in-processing. In addition, we show that the proposed algorithm is particularly effective for models trained at scale where post-processing is a natural and practical choice.

연구 동기 및 목표

• 훈련된 모델, 특히 딥 네ural 네트워크를 포함한 확장 가능한 후처리 편향 제거 방법을 개발하여 이론적 보장과 함께 near-optimal 공정성 달성.
• 신용 대출, 헬스케어, 형사 사법과 같은 고위험 기계학습 응용 분야에서의 편향 문제를 다루며, 여기서 공정성이 중요하지만 보편적으로 정의하기 어려운 문제를 해결.
• 모델이 대규모로 훈련된 경우, 후처리가 내재 처리만큼 효과적일 수 있음을 보여주며, 특히 대규모 모델에서의 편향 제거에 있어 후처리의 효능을 입증.
• 편향 제거에서 베이지스 리스크 일致성(consistency)을 확보하기 위해 决策 임계값 근처에서의 랜덤라이제이션이 이론적으로 필수적임을 증명하고, 이를 정규화된 최적화 프레임워크로 형식화.

제안 방법

• 통계적 평등성 조건 하에서 초과 베이지스 리스크를 최소화하는 정규화된 최적화 문제로 편향 제거를 공식화.
• 확장 가능한 대규모 모델에 대응하기 위해 효율적인 최적화를 위해 투영된 확률적 경사 하강법( projected SGD)을 사용.
• 랜덤라이즈드 임계값 규칙을 도입하여, 랜덤라이제이션의 폭은 정규화 하이퍼파rameter에 의해 제어되며, 이는 베이지스 리스크 일치성 보장을 위해 필수적이다.
• 통계적 평등성 정의 하에서 일치성 확보를 위해 임계값 근처의 랜덤라이제이션이 필수적임을 보여주는 이론적 경계를 유도.
• 기존 모델과 현대적인 DNN(예: BiT, ResNet, MobileNet, DenseNet 아키텍처 포함)에 모두 알고리즘을 적용.
• 부록 D에서 수정을 통해 비이진 감성 속성과 더 약한 공정성 정의를 다룰 수 있도록 방법을 일반화.

실험 결과

연구 질문

• RQ1 후처리 방법이 특히 딥 네ural 네트워크를 포함한 훈련된 모델에서 near-optimal 초과 베이지스 리스크를 달성할 수 있는가?
• RQ2 통계적 평등성 하에서 공정한 분류에서 베이지스 리스크 일치성 확보를 위해 임계값 근처의 랜덤라이제이션이 이론적으로 필수적인가?
• RQ3 대규모 사전 훈련된 모델에서 후처리 방법의 성능은 내재 처리 방법과 비교해 어떻게 되는가?
• RQ4 편향 제거 성능은 모델 규모 증가에 따라 향상되는가? 특히 대규모 데이터셋에서 사전 훈련된 과다 파rameter화된 모델의 경우에 대해.
• RQ5 제안된 알고리즘은 비이진 감성 속성과 더 약한 공정성 정의로 일반화될 수 있는가?

주요 결과

• RTO는 CelebA 및 COCO와 같은 표준 기준 데이터셋에서 이전의 후처리 편향 제거 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 내재 처리 방법과 경쟁 가능한 성능을 보이며, 후처리 기법 중 최고 수준의 성능을 달성했다.
• 특히 대규모로 훈련된 모델—과다 파rameter화되고 대규모 데이터셋에서 사전 훈련된 후 미세조정된 모델—에서 매우 효과적이다.
• 실험 결과 편향 제거 성능이 모델 규모 증가에 따라 향상됨을 보여주며, 대규모 머신러닝 파이프라인에서 후처리의 실용성을 입증한다.
• 이론적 분석을 통해 임계값 근처의 랜덤라이제이션이 베이지스 리스크 일치성 확보에 필수적임을 증명하였고, RTO의 설계는 이 조건을 충족한다.
• 다양한 아키텍처—ResNet, MobileNet, DenseNet, NASNet—에서 시각 및 속성 예측 작업 전반에 걸쳐 뛰어난 성능 유지를 보였다.