[논문 리뷰] Fairness Without Demographics in Repeated Loss Minimization

Tatsunori Hashimoto, Megha Srivastava외 2명|arXiv (Cornell University)|2018. 06. 20.

Retirement, Disability, and Employment인용 수 108

한 줄 요약

본 논문은 그룹 정체성이 알려지지 않은 경우 경험적 위험 최소화가 시간에 따라 표현 격차를 증폭시킬 수 있음을 보이고, 잠재 그룹 간 최악의 위험을 경계하기 위해 분포 강건 최적화(DRO)를 도입하여 불균형한 소수자 결과를 시뮬레이션 및 실제 작업 모두에서 개선한다.

ABSTRACT

Machine learning models (e.g., speech recognizers) are usually trained to minimize average loss, which results in representation disparity---minority groups (e.g., non-native speakers) contribute less to the training objective and thus tend to suffer higher loss. Worse, as model accuracy affects user retention, a minority group can shrink over time. In this paper, we first show that the status quo of empirical risk minimization (ERM) amplifies representation disparity over time, which can even make initially fair models unfair. To mitigate this, we develop an approach based on distributionally robust optimization (DRO), which minimizes the worst case risk over all distributions close to the empirical distribution. We prove that this approach controls the risk of the minority group at each time step, in the spirit of Rawlsian distributive justice, while remaining oblivious to the identity of the groups. We demonstrate that DRO prevents disparity amplification on examples where ERM fails, and show improvements in minority group user satisfaction in a real-world text autocomplete task.

연구 동기 및 목표

• 그룹 레이블이 알려지지 않은 순차 학습에서 표현 격차와 그 증폭에 대한 동기를 제시한다.
• 잠재 그룹 간 최악의 위험을 한정하고 시간에 걸쳐 소수자 결과를 안정화하기 위한 DRO 기반 접근법을 제안한다.
• DRO를 그룹별 위험 관리 및 유지(dynamic retention) 역학과 연결하는 이론적 보장을 제시한다.
• 시뮬레이션 과제와 실제 자가완성(autocomplete) 실험에서 DRO의 실증적 이점을 보여준다.

제안 방법

• 데이터를 K개의 잠재 그룹에서 나온 것으로 모델링하고 정체가 알려지지 않은 상태에서 시간에 걸쳐 최악의 그룹 위험을 최소화하는 것을 목표로 한다.
• 경험 분포를 중심으로 카이제곱 발산 구역을 채택하고, 고손실 예제를 상향가중하기 위해 분포적으로 강건한 위험 R_dro(θ; r)를 정의한다.
• 각 그룹에 대해 r_k = (1/α_k − 1)^2 이면 R_k(θ) ≤ R_dro(θ; r_k) 임을 보이고, r_max = (1/α_min − 1)^2 를 사용해 전체 최악의 위험을 한정한다.
• η 매개변수와 (ℓ(θ; Z) − η)_+ 항을 포함하는 대리 함수 F(θ; η)를 이용해 DRO 목적을 최적화할 수 있는 이중형식을 제공한다.
• 대안: θ 업데이트(이중 목표에 대한 SGD)와 η 선택(예: 이진 탐색)을 번갈아 수행하는 최적화 루틴을 개요화하여 실용적인 DRO 해법을 제시한다.
• ERM과 비교해 DRO가 더 강건하고 소수자 친화적 고정점을 가져올 수 있음을 시사하는 안정성 시사점을 논의한다.

실험 결과

연구 질문

• RQ1 인구통계적 신원이 사용할 수 없을 때 ERM이 시간에 걸쳐 격차 증폭을 유발하는가?
• RQ2 DRO가 최악의 그룹 위험에 대한 이론적·경험적 경계치를 제공하여 순차 업데이트를 통해 소수자 결과를 안정화할 수 있는가?
• RQ3 시뮬레이션 및 실제 작업(예: 자동완성)에서 DRO가 ERM에 비해 소수자 만족도와 유지에 개선을 보이는가?
• RQ4 DRO를 사용할 때 최소 소수자 비율 α_min을 보장하는 것이 시간에 따라 R_max를 제어하게 하는 조건은 무엇인가?

주요 결과

• ERM은 시간에 따라 불공평해질 수 있으며 격차 증폭과 불안정한 고정점으로 이어질 수 있다.
• DRO는 최악의 그룹 위험을 한정하고, 소수자 비율의 하한선을 두면 시간에 걸친 최악의 위험을 제어한다.
• 시뮬레이션에서 DRO는 소수자 정확도 붕괴를 방지하고 그룹 간 균형 잡힌 성능을 유지한다.
• Mechanical Turk 자동완성 연구에서 DRO는 소수자 만족도를 3.7에서 4.0으로, 소수자 유지율을 0.7에서 0.85로 향상시킨다.
• DRO는 개선된 만족도와 유지로 소수자 사용자 수를 증가시키며 실제적 이점을 보여준다.