[논문 리뷰] An Algorithmic Framework for Fairness Elicitation

Christopher Jung, Michael Kearns외 4명|arXiv (Cornell University)|2019. 05. 25.

Ethics and Social Impacts of AI참고 문헌 32인용 수 9

한 줄 요약

이 논문은 개인 간의 상대적 비교를 통해 이해관계자로부터 공정성 제약 조건을 도출하는 알고리즘적 프레임워크를 제안한다. 여기서 이해관계자는 한 사람을 다른 사람과 동일하거나 더 잘 대우해야 한다고 지정한다. 이 방법은 오ракulum 효율적이고 증명 가능하게 수렴하는 최적화 알고리즘을 사용하여 이러한 주관적 제약 조건 하에 공정한 모델을 학습하며, 강력한 일반화 성능을 달성하고 공정성과 정확성 간의 트레이드오프를 가능하게 한다. COMPAS 데이터셋을 대상으로 한 실증 검증 결과, 주관적 공정성과 통계적 공정성 지표 간의 일치가 확인되었다.

ABSTRACT

We consider settings in which the right notion of fairness is not captured by simple mathematical definitions (such as equality of error rates across groups), but might be more complex and nuanced and thus require elicitation from individual or collective stakeholders. We introduce a framework in which pairs of individuals can be identified as requiring (approximately) equal treatment under a learned model, or requiring ordered treatment such as "applicant Alice should be at least as likely to receive a loan as applicant Bob". We provide a provably convergent and oracle efficient algorithm for learning the most accurate model subject to the elicited fairness constraints, and prove generalization bounds for both accuracy and fairness. This algorithm can also combine the elicited constraints with traditional statistical fairness notions, thus "correcting" or modifying the latter by the former. We report preliminary findings of a behavioral study of our framework using human-subject fairness constraints elicited on the COMPAS criminal recidivism dataset.

연구 동기 및 목표

• 정의된 분석적 공정성 정의에 의존하지 않고도 이해관계자들이 쌍별 비교를 통해 공정성을 정의하도록 참여시킴으로써 이러한 정의의 한계를 해결하고자 한다.
• 수집된 공정성 제약 조건 하에 가장 정확한 모델을 학습할 수 있는 알고리즘을 개발함과 동시에 수렴성과 일반화 성능을 보장하고자 한다.
• 주관적 공정성 선호도를 기존의 통계적 공정성 개념과 통합할 수 있도록 하기 위함이다.
• 인간의 공정성 인식의 변동성과 표준 공정성 지표와의 일치 정도를 실증적으로 조사하고자 한다.

제안 방법

• 4개 선택지(동일 대우, A가 B보다 선호됨, B가 A보다 선호됨, 제약 없음)를 사용한 쌍별 비교를 통해 공정성 선호도를 도출한다.
• 이해관계자의 선호를 순서쌍 (x, x') ∈ Cu로 표현하며, 이는 x'이 x보다 동일하거나 더 잘 대우되어야 한다는 것을 의미한다.
• 정확성과 공정성의 균형을 조절하기 위해 공정성 위반 기준 γ와 트레이드오프 파라미터 η를 사용하는 제약 최적화 프레임워크를 적용한다.
• 오라클 액세스를 통해 제약 학습 문제를 해결하기 위해 프로젝션 기반 경사 하강법 기반의 학습 히우리스틱을 사용한다.
• VC 차원 기반 일반화 경계를 적용하여 정확성과 공정성의 통계적 신뢰성을 확보한다.
• 공정성 제약 조건과 표준 공정성 개념(예: 동일한 오차율)을 공동 최적화를 통해 통합할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 정의된 수학적 정의에 의존하지 않고 비기술자 이해관계자로부터 공정성을 의미 있게 도출할 수 있는가?
• RQ2 주관적 공정성 제약 조건 하에 수렴성과 일반화를 보장하면서도 효율적으로 정확한 모델을 학습할 수 있는 알고리즘이 존재하는가?
• RQ3 공정성 인식의 개인적 차이가 모델 정확성과 공정성 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ4 주관적 공정성 선호도가 표준 통계적 공정성 지표(예: 동일한 거짓 양성 비율)와 어느 정도 일치하는가?

주요 결과

• 알고리즘은 실질적으로 빠른 수렴을 보이며, 대부분의 주제에서 1,000회 이내에 수렴한다.
• 주관적 공정성 제약 조건의 난이도에 상당한 변동성이 있으며, 일부 주제에서는 거의 선형적인 파레토 곡선을 보이고, 다른 주제에서는 정확성 비용을 최소한으로 하면서도 큰 공정성 향상을 이룰 수 있다.
• 제약 조건 수만으로도 γ = 0.3일 때 모델 오차의 약 69%의 분산을 설명할 뿐만 아니라, 제약 조건의 내용과 구조가 수량보다 더 중요하다는 것을 시사한다.
• 진짜 레이블이 다른 쌍에 대한 제약 조건은 총 제약 조건 수보다 오차와 상관관계가 약한(0.489) 것으로 나타나, 제약 조건의 성격(내용)이 난이도에 더 큰 영향을 미친다는 것을 시사한다.
• 43명의 주제가 제출한 집합적 제약 조건은 최악의 경우 파레토 곡선을 형성하지만, 이 중 약 25%의 제약 조건이 대부분의 공정성 비용을 차지하며, 이는 소수의 제약 조건이 모델 난이도를 주도하고 있음을 의미한다.
• 주관적 공정성은 백인과 아프리카계 미국인 간의 거짓 양성 비율 차이 감소와 중간 정도의 상관관계를 보이지만, 다른 인종 조합 간의 상관관계는 더 약하다.