[논문 리뷰] Equalized odds postprocessing under imperfect group information

Pranjal Awasthi, Matthäus Kleindeßner외 1명|arXiv (Cornell University)|2019. 06. 07.

Ethics and Social Impacts of AI참고 문헌 38인용 수 17

한 줄 요약

이 논문은 보호된 특성 정보가 완벽하지 않을 경우 등가된 우도(postprocessing)의 강건성에 대해 연구하며, 오차가 특정 자연스러운 조건을 만족할 경우 공정성 향상 효과가 유지됨을 보여준다. 이 조건들이 만족될 경우, 결과적으로 생성된 분류기는 원래 분류기보다 더 공정하며, 중간 정도의 오차가 있을 때조차 낮은 오차를 유지함을 공식적으로 증명한다.

ABSTRACT

Most approaches aiming to ensure a model's fairness with respect to a protected attribute (such as gender or race) assume to know the true value of the attribute for every data point. In this paper, we ask to what extent fairness interventions can be effective even when only imperfect information about the protected attribute is available. In particular, we study the prominent equalized odds postprocessing method of Hardt et al. (2016) under a perturbation of the attribute. We identify conditions on the perturbation that guarantee that the bias of a classifier is reduced even by running equalized odds with the perturbed attribute. We also study the error of the resulting classifier. We empirically observe that under our identified conditions most often the error does not suffer from a perturbation of the protected attribute. For a special case, we formally prove this observation to be true.

연구 동기 및 목표

• 보호된 특성이 완전히 알려져 있지 않을 경우 등가된 우도 후처리와 같은 공정성 개선 기법이 여전히 효과를 가지는지 조사하는 것.
• 기본 분류기 대비 향상된 공정성을 보장하는 특성 오차 조건을 규명하는 것.
• 후처리 과정에서 오차가 있는 보호된 특성을 사용할 경우 공정성과 정확성 사이의 상호보완적 관계를 분석하는 것.
• 균형 잡힌 설정에서 특히 미약한 오차가 있을 경우, 진짜 특성 정보를 사용한 경우와 유사한 오차를 유지함을 공식적으로 입증하는 것.

제안 방법

• Hardt 등(2016)의 등가된 우도 후처리 방법을, 보호된 특성이 독립적인 뒤집기 확률 γ₀와 γ₁를 통해 오차가 발생하는 모델 하에서 분석한다.
• 결과 분류기의 공정성 편향이 원래 분류기보다 엄격히 감소하는 조건을 도출한다.
• 공식적인 공정성 편향 측정법을 도입하고, 오차가 있는 특성과 진짜 특성을 사용해 훈련된 분류기 간의 공정성 수준을 비교한다.
• 실세계 데이터셋(COMPAS, Adult)에서 성능을 실증적으로 평가하고, DRO 및 표준 ERM와 같은 기준 방법과 비교한다.
• 반복적인 훈련 하에서 장기적인 공정성과 정확성을 평가하기 위해 순차적 분류 설정에 이 방법을 적용한다.
• 균형 잡힌 경우(즉, Y와 A에 대한 균일한 결합확률)에 대해 공식적인 결과를 증명하며, 오차가 발생하더라도 오차가 유의미하게 증가하지 않는다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 보호된 특성의 오차가 어떤 조건을 만족할 경우 등가된 우도 후처리가 원래 분류기 대비 공정성 편향을 줄이는가?
• RQ2 오차가 있는 특성을 사용해 훈련한 분류기의 오차는 진짜 특성을 사용한 분류기의 오차와 비교해 어떻게 되는가?
• RQ3 보호된 특성에 대한 중간 수준의 노이즈나 오분류가 있을 경우, 등가된 우도 후처리의 공정성 향상 효과는 강건한가?
• RQ4 보호된 특성이 정확히 알려져 있지 않은 환경에서 등가된 우도 후처리가 신뢰할 수 있는 공정성 방법이 될 수 있는가?
• RQ5 순차적 학습 환경에서 오차가 있는 특성을 사용한 등가된 우도 후처리의 성능은 분포로 보존 최적화(DRO)와 비교해 어떻게 되는가?

주요 결과

• 균형 잡힌 설정에서(즉, P(Y=y, A=a) = 1/4), γ < 0.5 이면 후처리된 분류기의 공정성 편향이 원래 분류기보다 엄격히 작아진다.
• 실증 결과에 따르면, 해당 조건을 만족할 경우 오차가 있는 특성을 사용한 분류기의 오차는 진짜 특성을 사용한 분류기의 오차보다 일반적으로 크지 않으며, 중간 정도의 오차에서는 차이가 미미하다.
• 균형 잡힌 경우, 논문은 공식적으로 오차가 있는 특성을 사용해 훈련한 분류기의 오차가 진짜 특성을 사용한 분류기의 오차보다 유의미하게 높아지지 않음을 증명한다.
• 등가된 우도 후처리 방법은 보호된 특성이 높은 확률로 뒤집혀져도(예: γ₀ = γ₁ = 0.45) 여전히 공정성 향상을 유지하며, 불균형 증폭 방지를 위해 표준 ERM보다 우수하다.
• 오차가 비대칭일 경우에도(예: γ₀ = 0.1, γ₁ = 0.8) 이 방법은 효과를 유지하며, 특히 특정 클래스에 특화된 노이즈에 대해 강건함을 시사한다.
• 공정성 향상 보장을 위한 오차 조건은 필수적이며, 이 조건을 위반할 경우 이러한 보장이 성립하지 않는다.