[논문 리뷰] The implicit fairness criterion of unconstrained learning

Lydia T. Liu, Max Simchowitz외 1명|arXiv (Cornell University)|2018. 08. 29.

Ethics and Social Impacts of AI인용 수 35

한 줄 요약

이 논문은 제약이 없는 기계학습이 최적화 목표 덕분에 그룹 캘리브레이션—즉, 점수 주어진 조건 하에서 예측이 그룹 소속과 조건부로 독립이 되는 것—을 암묵적으로 선호함을 보여준다. 이는 학습된 모델의 초과 위험에 의해 캘리브레이션에서의 이탈이 유계됨을 증명하며, 同시에 분리성과 독립성과 같은 다른 정의적 기준을 위반함을 보여주며, 제약이 없는 학습에서 캘리브레이션을 사실상의 정의적 기준으로 강조한다.

ABSTRACT

We clarify what fairness guarantees we can and cannot expect to follow from unconstrained machine learning. Specifically, we characterize when unconstrained learning on its own implies group calibration, that is, the outcome variable is conditionally independent of group membership given the score. We show that under reasonable conditions, the deviation from satisfying group calibration is upper bounded by the excess risk of the learned score relative to the Bayes optimal score function. A lower bound confirms the optimality of our upper bound. Moreover, we prove that as the excess risk of the learned score decreases, it strongly violates separation and independence, two other standard fairness criteria. Our results show that group calibration is the fairness criterion that unconstrained learning implicitly favors. On the one hand, this means that calibration is often satisfied on its own without the need for active intervention, albeit at the cost of violating other criteria that are at odds with calibration. On the other hand, it suggests that we should be satisfied with calibration as a fairness criterion only if we are at ease with the use of unconstrained machine learning in a given application.

연구 동기 및 목표

• 제약이 없는 기계학습에서 명시적인 정의적 제약 없이 자연스럽게 유도되는 정의적 보장을 규명하는 것.
• 표준 위험 최소화 과정에서 그룹 캘리브레이션(즉, 점수 주어진 조건 하에서 결과가 그룹과 조건부로 독립이 되는 것)이 암묵적으로 달성되는지 조사하는 것.
• 분리성과 독립성과 같은 다른 정의적 기준과의 캘리브레이션 간의 상충관계를 정량화하는 것.
• 모델의 초과 위험에 기반하여 캘리브레이션에서의 이탈에 대한 이론적 경계를 설정하고, 이를 실세계 데이터셋을 통해 검증하는 것.

제안 방법

• 정의적 기준에서의 이탈을 측정하는 지표로 충족도와 캘리브레이션 갭을 정의하며, 여기서 충족도는 거의 확실히 E[Y|f(X)] = E[Y|f(X), A] 를 만족한다.
• 충족도 갭을 E[|E[Y|f(X)] - E[Y|f(X), A]|] 로 형식화하고, 캘리브레이션 갵을 E[|E[Y|f(X), A] - f(X)|] 로 형식화한다.
• 약간의 정규성 조건 하에서, 학습된 점수의 초과 위험에 의해 베이즈 최적 점수에 대한 상대적 초과 위험에 의해 충족도 갵이 상한선으로 유계진다는 것을 증명한다.
• 이 상한선의 날카러움을 확인하기 위해 이 상한선과 일치하는 하한선을 수립하여, 동일한 위험 조건 하에서 다른 알고리즘이 더 나은 캘리브레이션을 달성할 수 없음을 확인한다.
• 로지스틱 손실을 사용한 경험적 위험 최소화를 통해 Adult 및 Broward 데이터셋에서 모델을 훈련하고, 점수의 디시르 기반 분할을 통해 갭을 추정한다.
• 다양한 그룹 속성(예: 인종, 성별, 연령)에 대해 충족도, 캘리브레이션, 분리성 갵을 평가하며, 복합 속성과 희소 그룹을 위한 퀀틸 기반 분할도 포함한다.

실험 결과

연구 질문

• RQ1 제약이 없는 학습이 어떤 조건에서 암묵적으로 그룹 캘리브레이션을 달성하는가?
• RQ2 학습된 점수의 초과 위험은 그 캘리브레이션에서의 이탈과 어떻게 관련이 있는가?
• RQ3 제약이 없는 학습이 분리성과 독립성 기준을 어느 정도 위반하는가?
• RQ4 캘리브레이션 이탈에 대한 이론적 경계가 실세계 데이터셋에서 경험적으로 검증될 수 있는가?
• RQ5 다양하고 상호 겹치는 그룹 속성에 따라 제약이 없는 학습의 성능은 어떻게 변하는가?

주요 결과

• 충족도 갵—즉, 점수 주어진 조건 하에서 결과가 그룹과 조건부로 독립이 되지 않는 정도의 이탈—은 학습된 점수의 베이즈 최적 점수에 대한 상대적 초과 위험에 의해 상한선으로 유계진다.
• 충족도 갵의 상한선은 하한선과 일치함으로써 날카럽다는 것이 확인되어, 동일한 위험 조건 하에서 다른 알고리즘이 더 나은 캘리브레이션을 달성할 수 없다는 것을 확인한다.
• 초과 위험이 감소함에 따라 분리성과 독립성 위반이 증가함을 보여주며, 캘리브레이션과 이러한 정의적 기준 간의 근본적인 상충관계를 입증한다.
• Adult 및 Broward 데이터셋에 대한 경험적 결과는 제약이 없는 학습(예: 로지스틱 회귀)이 인종, 성별, 연령, 복합 특징을 포함한 여러 그룹 속성에서 강력한 캘리브레이션을 달성함을 보여준다.
• Broward 데이터셋에서 충족도 갵은 더 많은 훈련 데이터를 통해 감소하는 반면, 분리성 갵은 약 0.05에서 안정화되어 있어 분리성 위반이 지속됨을 나타낸다.
• 작은 그룹 질량에서는 캘리브레이션 경계가 악화되며, 이는 이론적 기대와 일치한다. 또한 경험적 충족도 갵 추정치는 분할 방식(예: 10개 분할 vs. 8개 분할)에 민감하며, Adult 데이터셋에서는 10개 분할로도 신뢰할 수 있는 추정이 가능하다.