[논문 리뷰] Does mitigating ML's disparate impact require disparate treatment?

Zachary C. Lipton, Alexandra Chouldechova외 1명|arXiv (Cornell University)|2017. 11. 19.

Ethics and Social Impacts of AI인용 수 7

한 줄 요약

이 논문은 차별적 학습 과정(DLPs)—학습 시 보호 특성(protected characteristics)을 사용하지만 추론 시 이를 숨기는 알고리즘—이 사실상 차별적 대우, 예를 들어 보편적 보조 정책(affirmative action)을 재현할 수 있으며, 민감한 특성이 특징에 부분적으로 코딩되어 있을 경우 내부 클래스 내 차별을 유도할 수도 있다고 주장한다. 저자들은 이러한 방법이 명시적 차별적 대우와 동일한 법적 및 윤리적 검토를 받아야 한다고 결론 내린다.

ABSTRACT

Following related work in law and policy, two notions of prejudice have come to shape the study of fairness in algorithmic decision-making. Algorithms exhibit disparate treatment if they formally treat people differently according to a protected characteristic, like race, or if they intentionally discriminate (even if via proxy variables). Algorithms exhibit disparate impact if they affect subgroups differently. Disparate impact can arise unintentionally and absent disparate treatment. The natural way to reduce disparate impact would be to apply disparate treatment in favor of the disadvantaged group, i.e. to apply affirmative action. However, owing to the practice's contested legal status, several papers have proposed trying to eliminate both forms of unfairness simultaneously, introducing a family of algorithms that we denote disparate learning processes (DLPs). These processes incorporate the protected characteristic as an input to the learning algorithm (e.g.~via a regularizer) but produce a model that cannot directly access the protected characteristic as an input. In this paper, we make the following arguments: (i) DLPs can be functionally equivalent to disparate treatment, and thus should carry the same legal status; (ii) when the protected characteristic is redundantly encoded in the nonsensitive features, DLPs can exactly apply any disparate treatment protocol; (iii) when the characteristic is only partially encoded, DLPs may induce within-class discrimination. Finally, we argue the normative point that rather than masking efforts towards proportional representation, it is preferable to undertake them transparently.

연구 동기 및 목표

• 보호 특성을 학습 시 사용하지만 추론 시 이를 숨기는 차별적 학습 과정(DLPs)이 사실상 차별적 대우를 재현할 수 있는지 조사하기 위해.
• 보호 특성이 추론 시 직접 접근 불가능한 상황에서도 DLPs가 어떤 형태의 차별적 대우를 정확히 구현할 수 있는 조건을 조사하기 위해.
• 보호 특성이 비민감 특징에 부분적으로만 코딩되어 있을 경우 내부 클래스 내 차별의 위험을 분석하기 위해.
• 투명하고 의도적인 비례 대표성 추구가 알고리즘적 가림막을 통한 대안보다 바람직하다는 규범론적 주장을 펼치기 위해.

제안 방법

• 학습 중 보호 특성을 정규화 또는 기타 제약 조건을 통해 통합하는 기계학습 모델로 DLPs를 형식화하기 위해.
• 비민감 특징에 보호 특성이 중복적으로 코딩되어 있을 경우 DLPs가 명시적 차별적 대우와 기능적으로 동일시될 수 있는 조건을 분석하기 위해.
• 보호 특성이 입력 특징에 부분적으로만 코딩되어 있을 상황을 모델링하여 의도하지 않은 내부 클래스 내 격차를 평가하기 위해.
• 중복성이 존재할 경우 DLPs가 사전 정의된 어떤 차별적 대우 프로토콜이라도 정확히 모방할 수 있음을 이론적으로 분석하기 위해.
• 편향과 공정성에 관한 법적 및 정책 프레임워크의 개념을 활용하여 DLPs의 규범적 함의를 평가하기 위해.

실험 결과

연구 질문

• RQ1 DLPs가 보호 특성이 추론 시 직접 사용되지 않는 상황에서도 사실상 차별적 대우를 재현할 수 있는가?
• RQ2 DLPs가 어떤 형태의 보편적 보조 정책 또는 차별적 대우를 정확히 실현할 수 있는 조건은 무엇인가?
• RQ3 보호 특성이 비민감 특징에 부분적으로만 코딩되어 있을 경우 내부 클래스 내 차별의 위험은 무엇인가?
• RQ4 DLPs의 법적 및 윤리적 지위는 명시적 차별적 대우와 비교해 어떻게 되는가?
• RQ5 공정성 개선 조치를 알고리즘적 은폐를 통해 구현하는 것보다 투명하게 시행하는 것이 바람직한가?

주요 결과

• 보호 특성이 비민감 특징에 중복적으로 코딩되어 있을 경우 DLPs가 차별적 대우와 기능적으로 동일시될 수 있다.
• 보호 특성이 중복적으로 코딩되어 있을 경우 DLPs가 어떤 형태의 차별적 대우 프로토콜이라도 정확히 재현할 수 있다.
• 보호 특성이 부분적으로만 비민감 특징에 코딩되어 있을 경우 DLPs가 민감한 특성에 직접 접근하지 않더라도 내부 클래스 내 차별을 유도할 수 있다.
• DLPs의 사용은 법적 및 윤리적 검토가 여전히 필요함을 보여주며, 이는 명시적 차별적 대우와 구분되지 않는 결과를 낳을 수 있다.
• 규범론적 결론으로, 비례 대표성 추구는 알고리즘 설계를 통해 은폐하는 것보다 투명하게 수행되어야 한다.