[논문 리뷰] Rényi Fair Inference

Sina Baharlouei, Maher Nouiehed외 2명|arXiv (Cornell University)|2019. 06. 28.

Ethics and Social Impacts of AI참고 문헌 59인용 수 14

한 줄 요약

이 논문은 민감한 속성과 모델 출력 간의 Rényi 상관관계를 최소화하여 기계학습에서의 공정성을 강제하는 새로운 내재형 프레임워크인 Rényi Fair Inference를 제안한다. 이는 이산적인 민감한 속성에 대해 수렴 보장을 갖는 최소-최대 최적화 공식화를 사용하며, 선형 의존성 측정에 의존하는 기존 방법들과 비교해 비선형 의존성을 더 잘 포착하는 데서 유의미한 공정성-정확도 트레이드오프를 달성한다.

ABSTRACT

Machine learning algorithms have been increasingly deployed in critical automated decision-making systems that directly affect human lives. When these algorithms are only trained to minimize the training/test error, they could suffer from systematic discrimination against individuals based on their sensitive attributes such as gender or race. Recently, there has been a surge in machine learning society to develop algorithms for fair machine learning. In particular, many adversarial learning procedures have been proposed to impose fairness. Unfortunately, these algorithms either can only impose fairness up to first-order dependence between the variables, or they lack computational convergence guarantees. In this paper, we use Rényi correlation as a measure of fairness of machine learning models and develop a general training framework to impose fairness. In particular, we propose a min-max formulation which balances the accuracy and fairness when solved to optimality. For the case of discrete sensitive attributes, we suggest an iterative algorithm with theoretical convergence guarantee for solving the proposed min-max problem. Our algorithm and analysis are then specialized to fair classification and the fair clustering problem under disparate impact doctrine. Finally, the performance of the proposed Rényi fair inference framework is evaluated on Adult and Bank datasets.

연구 동기 및 목표

• 선형 의존성 측정에 의존하거나 수렴 보장이 없는 기존 공정성 방법의 한계를 해결하기 위해.
• 민감한 속성과 모델 출력 간의 통계적 인덴펜던스를 촉진하는 일반적인 내재형 프레임워크를 개발하기 위해.
• 이산적인 민감한 속성에 대해 계산 수렴성을 확보하면서도 강력한 공정성-정확도 트레이드오프를 유지하기 위해.
• 기준 데이터셋을 사용하여 공정한 분류 및 공정한 클러스터링 작업에서 방법을 평가하기 위해.

제안 방법

• 민감한 속성과 모델 예측 간의 Rényi 상관관계(최대 상관관계)를 최소화하는 방식으로 공정성을 공식화한다.
• 정확도와 공정성을 균형 잡는 최소-최대 최적화 문제를 제안하며, 이는 이산적인 민감한 속성에 대해 이론적 수렴 보장을 갖는다.
• 최적화를 위한 반복적 알고리즘을 사용하여 최소-최대 문제를 해결하며, 이는 1차 최적성을 보장한다.
• 공정한 분류 및 공정한 클러스터링에 프레임워크를 특화시키며, 등가 기회 및 클러스터 균형과 같은 공정성 지표를 사용한다.
• 비모수적 수단으로 통계적 인덴펜던스를 포착할 수 있는 비선형 의존성을 가진 Rényi 상관관계를 사용한다.
• 모델 정확도와 공정성 간의 트레이드오프를 제어하기 위해 정규화 하이퍼파rameter λ를 도입한다.

실험 결과

연구 질문

• RQ1 Rényi 상관관계는 공정성 제약 조건에서 통계적 인덴펜던스의 효과적이고 계산적으로 실현 가능한 대체 측정으로서 기능할 수 있는가?
• RQ2 반복 최적화를 사용하는 제안된 최소-최대 공식화는 이산적인 민감한 속성에 대해 수렴 보장을 갖는가?
• RQ3 Rényi Fair Inference는 피어슨 상관관계 및 HSIC 기반 방법과 비교해 공정성 제약 조건 내 비선형 의존성을 얼마나 잘 포착하는가?
• RQ4 정규화 파rameter λ를 증가시킬수록 정확도가 크게 떨어지지 않으면서 공정성은 어느 정도 향상되는가?
• RQ5 균형 잡힌 클러스터 구성 측정 기준으로 볼 때, 이 프레임워크는 공정한 클러스터링으로 효과적으로 확장될 수 있는가?

주요 결과

• Rényi 공정 추론 프레임워크는 동일한 정확도 수준에서 기존 최고 수준의 방법들보다 더 낮은 등가 기회(EO) 위반을 달성하며, 특히 Adult 데이터셋에서 두드러진다.
• 로지스틱 회귀 모델에서, Rényi 정규화는 독일 신용, Adult, Bank 데이터셋 전반에 걸쳐 HSIC 및 피어슨 상관관계 정규화보다 정확도 감소 폭이 더 작다.
• 피어슨 및 HSIC와 달리, Rényi 상관관계는 다중 또는 비이진 민감한 속성이 존재할 경우에도 임계값을 초과하는 공정성 위반을 효과적으로 감소시킬 수 있다.
• 공정한 k-평균 클러스터링에서 λ를 증가시킬수록 비율 벡터 w(각 클러스터의 우선 그룹 비율을 나타냄)의 표준편차가 감소하며, λ ≥ 1일 때 거의 균일한 클러스터 구성이 달성된다.
• λ 증가에 따라 공정성 이탈(표준편차 w)은 급격히 감소하지만, λ ≤ 0.005 범위에서는 클러스터링 손실 증가 폭이 매우 작다.
• 민감한 속성이 이산일 경우 반복 알고리즘이 이론적으로 수렴 보장을 갖으며, 이진 민감한 속성에 대해서는 최적의 수렴이 증명된다.