[논문 리뷰] Algorithmic Bias and Data Bias: Understanding the Relation between Distributionally Robust Optimization and Data Curation

Agnieszka Słowik, Léon Bottou|arXiv (Cornell University)|2021. 06. 17.

Adversarial Robustness in Machine Learning참고 문헌 41인용 수 9

한 줄 요약

이 논문은 분포로 불안정 최적화(DRO)와 부분집단의 가중 혼합에 대한 훈련 사이의 이론적 동치성을 확립하며, DRO가 본질적으로 데이터 편향을 해결하지 못하고 오히려 훈련 데이터의 校정 가정을 이어받는다는 점을 보여준다. DRO와 데이터 정제가 각각 독립적으로 공정성을 보장하지 못하며, 최적의 해를 피하기 위해 신중한 校정과 모델 용량을 고려해야 한다고 주장한다.

ABSTRACT

Machine learning systems based on minimizing average error have been shown to perform inconsistently across notable subsets of the data, which is not exposed by a low average error for the entire dataset. In consequential social and economic applications, where data represent people, this can lead to discrimination of underrepresented gender and ethnic groups. Given the importance of bias mitigation in machine learning, the topic leads to contentious debates on how to ensure fairness in practice (data bias versus algorithmic bias). Distributionally Robust Optimization (DRO) seemingly addresses this problem by minimizing the worst expected risk across subpopulations. We establish theoretical results that clarify the relation between DRO and the optimization of the same loss averaged on an adequately weighted training dataset. The results cover finite and infinite number of training distributions, as well as convex and non-convex loss functions. We show that neither DRO nor curating the training set should be construed as a complete solution for bias mitigation: in the same way that there is no universally robust training set, there is no universal way to setup a DRO problem and ensure a socially acceptable set of results. We then leverage these insights to provide a mininal set of practical recommendations for addressing bias with DRO. Finally, we discuss ramifications of our results in other related applications of DRO, using an example of adversarial robustness. Our results show that there is merit to both the algorithm-focused and the data-focused side of the bias debate, as long as arguments in favor of these positions are precisely qualified and backed by relevant mathematics known today.

연구 동기 및 목표

• DRO와 부분집단의 가중 혼합에 대한 훈련 사이의 수학적 관계를 명확히 하기 위해.
• DRO가 기계 학습 시스템 내 알고리즘적 및 데이터 편향을 완전히 해결할 수 있는지 조사하기 위해.
• DRO와 데이터 정제가 모델 배포 시 공정성에 대해 독립적인 해결책으로서의 한계를 규명하기 위해.
• 부분집단 성능을 존중하고 국소 최솟값 함정을 피할 수 있도록 DRO를 적용하는 데 실용적인 권고를 제공하기 위해.
• 이러한 발견이 적대적 내성성 및 기타 DRO 응용에 미치는 영향을 검토하기 위해.

제안 방법

• 라그랑주 승화를 사용한 DRO의 이론적 분석을 통해 부분집단에 대한 혼합 최적화와 연결하기 위해.
• 혼합 비용 함수의 국소 최솟값이 특정 校정 계수를 가진 DRO 해와 일치하는 조건을 유도하기 위해.
• 선형 모델을 초월한 일반화를 위해 볼록 및 비볼록 손실 함수를 사용하기 위해.
• 부분집단 성능에 따라 혼합 가중치를 동적으로 조정하는 반복적 DRO 알고리즘(예: 알고리즘 2)을 분석하기 위해.
• 모델 용량 제약이나 한 부분집단의 손실이 우세할 경우 DRO가 실패하는 상황을 조사하기 위해.
• 이론적 결과를 적대적 내성성에 적용하여, DRO 기반 방어 메커니즘에서도 유사한 제약이 존재함을 보여주기 위해.

실험 결과

연구 질문

• RQ1 DRO는 부분집단의 손실 가중 평균을 최소화하는 것과 어떻게 수학적으로 관련되어 있는가?
• RQ2 혼합 비용 함수의 국소 최솟값이 특정 校정 계수를 가진 DRO 해와 일치하는 조건은 무엇인가?
• RQ3 사전 데이터 정제 또는 모델 용량 조정 없이 DRO가 부분집단 간 공정성을 향상시킬 수 있는가?
• RQ4 한 부분집단의 손실이 최적화 과정에서 지배할 경우 DRO의 한계는 무엇인가?
• RQ5 유사한 구조적 제약이 존재하는 바에 비추어, DRO는 적대적 내성성에 효과적으로 활용될 수 있는가?

주요 결과

• DRO는 부분집단의 손실 가중 평균을 최소화하는 것과 수학적으로 동치이며, 이 가중치는 校정 계수에 의해 결정된다.
• 혼합 비용 함수의 국소 최솟값이 DRO 해와 일치하려면 校정 계수를 적절히 설정해야 하며, 이 동치성은 볼록 및 비볼록 손실 모두에 대해 성립한다.
• 모델이 해당 집단의 데이터로만 훈련되어도 부분집단에서 만족스러운 성능를 달성할 수 없다면, DRO는 편향을 해결하지 못한다.
• 반복적 DRO 알고리즘은 한 부분집단이 손실 지형을 지배할 경우, 열악한 국소 최솟값에 갇혀 성능 향상을 이루지 못할 수 있다.
• 과다 매개변수화는 열악한 국소 최솟값을 벗어나는데 도움이 되지만, 부분집단 간 상호 양보를 표현할 수 있는 충분한 용량을 가진 모델일 때에만 가능하다.
• 적대적 내성성의 맥락에서 DRO는 유사한 제약을 겪는다: 모델이 악성 부분집단을 처리할 수 없다면, 내성성을 보장할 수 없다.