[논문 리뷰] Effectiveness of Equalized Odds for Fair Classification under Imperfect Group Information.

Pranjal Awasthi, Matthäus Kleindeßner외 1명|arXiv (Cornell University)|2019. 06. 07.

Ethics and Social Impacts of AI인용 수 6

한 줄 요약

이 논문은 보호되는 특성 정보가 불완전할 경우 등가된 우도 공정성 방법의 효과성을 조사한다. 중간 정도의 보호 특성 레이블 편향이 존재하더라도, 노이즈가 있는 데이터를 사용하여 등가된 우도를 적용하는 것은 원래 분류기보다 분류기 편향을 더 줄이고 진짜 특성 값으로 달성되는 것과 유사한 오차율을 유지한다.

ABSTRACT

Most approaches for ensuring or improving a model's fairness with respect to a protected attribute (such as race or gender) assume access to the true value of the protected attribute for every data point. In many scenarios, however, perfect knowledge of the protected attribute is unrealistic. In this paper, we ask to what extent fairness interventions can be effective even with imperfect information about the protected attribute. In particular, we study this question in the context of the prominent equalized odds method of Hardt et al. (2016). We claim that as long as the perturbation of the protected attribute is somewhat moderate, one should still run equalized odds if one would run it knowing the true protected attribute: the bias of the classifier that we obtain using the perturbed attribute is smaller than the bias of the original classifier, and its error is not larger than the error of the equalized odds classifier obtained when working with the true protected attribute.

연구 동기 및 목표

• 진짜 보호 특성이 완전히 알려지지 않은 경우 등가된 우도와 같은 공정성 개선 조치가 여전히 효과적인지 평가하는 것.
• 편향되거나 노이즈가 있는 보호 특성 레이블이 분류기의 공정성과 정확성에 미치는 영향을 이해하는 것.
• 군집 소속이 불확실한 조건에서 등가된 우도가 기준 모델보다 여전히 슈퍼어리어하는 조건을 규명하는 것.
• 진짜 군집 정보가 부정확할 경우 공정한 분류기의 오차와 편향이 유의미하게 악화되는지 평가하는 것.
• 보호 특성이 잘못 보고되거나 추정되는 실세계 환경에서 등가된 우도를 구현하는 데 실용적인 지침을 제공하는 것.

제안 방법

• 연구는 실제 그룹 소속에 대한 왜곡을 통제적으로 적용하여 실세계의 정확도 부족을 시뮬레이션한다.
• 진짜 보호 특성으로 학습된 분류기와 노이즈가 있는 특성으로 학습된 분류기의 편향과 오차를 비교한다.
• 편향이 중간 정도이며, 제한된 확률로 무작위 뒤집기와 같은 현실적인 노이즈 모델을 따르는 것으로 가정한다.
• 공정성은 등가된 우도를 통해 측정되며, 이는 다양한 군집 간에 참양성과 거짓양성 비율이 동일해야 한다는 조건을 포함한다.
• 노이즈가 있는 데이터로 학습된 분류기를 진짜 레이블로 학습된 원래 분류기 및 등가된 우도 분류기와 비교한다.
• 이론적 및 실증적 분석을 통해 노이즈가 있는 입력에도 불구하고 편향된 등가된 우도 분류기는 강력한 공정성 성능을 유지함을 입증한다.

실험 결과

연구 질문

• RQ1 보호 특성 레이블에 중간 정도의 편향이 있을 경우, 등가된 우도 분류기의 공정성과 정확성에 어떤 영향을 미치는가?
• RQ2 노이즈가 있는 군집 정보를 사용하여 등가된 우도를 적용해도 원래 분류기보다 편향이 낮아지는가?
• RQ3 노이즈가 있는 데이터로 학습된 공정한 분류기의 오차율은 진짜 보호 특성으로 학습된 분류기와 어떻게 비교되는가?
• RQ4 군집 소속이 불확실하거나 정확도가 떨어지는 조건에서 등가된 우도가 여전히 효과적인가?
• RQ5 진짜 보호 특성 지식이 없을 경우 실생활에서 등가된 우도를 신뢰성 있게 적용할 수 있는가?

주요 결과

• 보통 정도의 보호 특성 레이블 편향이 있더라도, 등가된 우도를 적용하면 원래의 비공정 분류기보다 분류기 편향이 낮아진다.
• 노이즈가 있는 특성으로 학습된 등가된 우도 분류기의 오차율은 진짜 보호 특성으로 학습된 분류기와 비교해 유사하게 유지된다.
• 불완전한 군집 정보 하에서도 등가된 우도의 공정성 향상 효과가 유지되어, 레이블 노이즈에 강건함을 보인다.
• 편향이 극단적이지 않은 한, 등가된 우도 방법은 강력한 공정성 성능을 유지하므로 실세계의 부정확한 데이터 환경에서의 적용 가능성을 뒷받침한다.
• 연구는 보호 특성이 완전히 알려지지 않은 상황에서도 등가된 우도를 사용할 수 있음을 실증적 및 이론적으로 입증한다.
• 결과적으로, 데이터의 불완전성 때문에 공정성 개선 조치를 포기해서는 안 되며, 여전히 의미 있는 공정성 향상을 이끌어낼 수 있다.