[논문 리뷰] Learning Optimal and Fair Decision Trees for Non-Discriminative Decision-Making

Sina Aghaei, Mohammad Javad Azizi외 1명|arXiv (Cornell University)|2019. 03. 25.

Ethics and Social Impacts of AI참고 문헌 38인용 수 12

한 줄 요약

이 논문은 사회적으로 민감한 의사결정에서 차별 대우 및 차별적 영향을 동시에 최소화하는 최적의 공정한 의사결정나무를 학습하기 위해 혼합정수최적화 프레임워크를 제안한다. 분류와 회귀 간의 공정성 정의를 통합함으로써, 최신 히وري스틱 기법보다 높은 정확도와 낮은 차별성을 달성하며, 해석 가능하고 편향이 있거나 없는 데이터셋 모두에 적용 가능한 솔루션을 제공한다.

ABSTRACT

In recent years, automated data-driven decision-making systems have enjoyed a tremendous success in a variety of fields (e.g., to make product recommendations, or to guide the production of entertainment). More recently, these algorithms are increasingly being used to assist socially sensitive decision-making (e.g., to decide who to admit into a degree program or to prioritize individuals for public housing). Yet, these automated tools may result in discriminative decision-making in the sense that they may treat individuals unfairly or unequally based on membership to a category or a minority, resulting in disparate treatment or disparate impact and violating both moral and ethical standards. This may happen when the training dataset is itself biased (e.g., if individuals belonging to a particular group have historically been discriminated upon). However, it may also happen when the training dataset is unbiased, if the errors made by the system affect individuals belonging to a category or minority differently (e.g., if misclassification rates for Blacks are higher than for Whites). In this paper, we unify the definitions of unfairness across classification and regression. We propose a versatile mixed-integer optimization framework for learning optimal and fair decision trees and variants thereof to prevent disparate treatment and/or disparate impact as appropriate. This translates to a flexible schema for designing fair and interpretable policies suitable for socially sensitive decision-making. We conduct extensive computational studies that show that our framework improves the state-of-the-art in the field (which typically relies on heuristics) to yield non-discriminative decisions at lower cost to overall accuracy.

연구 동기 및 목표

• 보호되는 속성에 기반해 차별 대우 또는 차별적 영향을 초래할 수 있는 자동화된 의사결정 시스템의 부당함을 해결하기 위해.
• 분류 및 회귀 작업 간의 공정성 정의를 통합하여 일관된 공정성 프레임워크를 제공하기 위해.
• 의사결정나무에서 정확도를 최대화하고 차별을 최소화하는 혼합정수최적화 접근법을 개발하기 위해.
• 편향이 있거나 없는 훈련 데이터셋 모두에 적용 가능하도록 보장하기 위해, 특히 보호 속성이 없지만 상관관계가 여전히 존재하는 경우에도 적용 가능하도록 하기 위해.
• 고위험성 및 윤리적으로 민감한 도메인에 적합한 해석 가능하고 비차별적인 의사결정 정책을 생산하기 위해.

제안 방법

• 예측 정확도와 공정성을 동시에 최적화하는 혼합정수최적화 문제(MIP)를 수립하며, 차별 지수(DTDI)를 제약 조건 또는 페널티로 사용한다.
• 하이퍼파rameter λ를 통해 정확도와 공정성을 균형 잡는 유연한 목적 함수를 도입하여 트레이드오프 분석을 가능하게 한다.
• 차별성을 측정하기 위해 보호 그룹 간 조건부 결과의 차이를 측정하는 거리 함수 γ(x) = P(y|xₚ̄, xₚ) − P(y|xₚ̄)를 사용한다.
• 분류 및 회귀 작업 모두에 MIP 프레임워크를 적용하며, 각 작업에 맞게 맞춤형 수식을 제공하고, 확장성을 위해 근사 거리 함수(MIP-DT-A)를 도입한다.
• 최적의 λ*를 선택하기 위해 k-폴드 교차검증 전략을 사용하며, 이때 차별성은 0.01% 이하로 유지하면서 정확도를 최대화한다.
• Gurobi를 Julia의 JuMP를 통해 사용하여 MIP를 해결하며, 시간 제한은 5~10시간으로 설정하고, 해의 시간 및 수렴 행동을 보고한다.

실험 결과

연구 질문

• RQ1 의사결정나무에서 분류 및 회귀 작업 모두에 대해 통합된 공정성 프레임워크를 개발할 수 있는가?
• RQ2 제안된 MIP 기반 접근법은 히وري스틱 기준 대비 공정성과 정확도 트레이드오프 측면에서 어떻게 비교되는가?
• RQ3 이 방법은 편향이 있거나 없는 데이터셋 모두에서 차별 대우 및 차별적 영향을 어느 정도 감소시킬 수 있는가?
• RQ4 해석 가능성(나무 깊이를 통해)은 최적화된 의사결정나무에서 공정성과 정확도와 어떻게 상호작용하는가?
• RQ5 MIP 프레임워크는 시간 민감한 예측 시나리오에서 실용적 구현에 충분히 빠른 near-optimal 솔루션을 생성할 수 있는가?

주요 결과

• Adult 데이터셋에서 MIP-DT는 CART보다 훨씬 낮은 차별성(0.32% DTDIs)을 달성하면서도 더 높은 정확도를 유지한다.
• 분류 데이터셋에서 MIP-DT는 fair log 및 DADT 기준보다 정확도는 높고, 거의 0에 가까운 차별성을 달성한다.
• 회귀 작업에서는 MIP-DT가 선형회귀에 개인 또는 그룹 공정성 페널티를 적용한 경우(LR-ind/grp)보다 상당히 낮은 평균 절대오차(MAE)를 달성하며, 평균 해결 시간은 36,007초로 대비하여 각각 0.38/0.33초이다.
• 세 개의 분류 데이터셋에 대한 MIP-DT 평균 훈련 시간은 18,161.64초로, 기준보다 훨씬 높지만, 뛰어난 공정성과 정확도로 인해 타당하다.
• 일반적으로 near-optimal 해는 몇 분 내에 도달하므로, 높은 계산 비용에도 불구하고 실용적 타당성이 있음을 시사한다.
• 훈련된 MIP 기반 나무를 통한 예측 추론은 매우 빠르며(밀리초 수준), 장시간의 훈련 시간에도 불구하고 구현 가능하다.