[논문 리뷰] On conditional parity as a notion of non-discrimination in machine learning

Ya’acov Ritov, Yuekai Sun외 1명|arXiv (Cornell University)|2017. 06. 26.

Adversarial Robustness in Machine Learning참고 문헌 15인용 수 20

한 줄 요약

이 논문은 기계학습에서 비차별성을 위한 통합적 프레임워크로 조건부 평등성(CP)을 제안하며, 기존의 인구 통계적 평등성 및 반사적 공정성과 같은 개념들을 포함한다. CP를 위한 커널 기반 통계적 검정을 제안하고, 이 검정을 통해 차별적 보험 가격 설정을 탐지하는 데 응용하여, CP가 후처리에 대해 불변임을 보이며 힐버트-슈미트 독립성 기준을 통해 실증적 검증이 가능하다는 것을 보여준다.

ABSTRACT

We identify conditional parity as a general notion of non-discrimination in machine learning. In fact, several recently proposed notions of non-discrimination, including a few counterfactual notions, are instances of conditional parity. We show that conditional parity is amenable to statistical analysis by studying randomization as a general mechanism for achieving conditional parity and a kernel-based test of conditional parity.

연구 동기 및 목표

• 기계학습에서 다양한 비차별성 개념을 하나의 공식적 프레임워크로 통합하는 것.
• 조건부 평등성(CP)을 공정성에 대한 일반적이고 통계적으로 분석 가능한 기준으로 설정하는 것.
• 조건부 평등성 위반 여부를 탐지하기 위한 커널 기반 통계적 검정을 개발하는 것.
• 실제 보험 가격 격차 분석을 통해 CP의 실용적 유용성을 입증하는 것.
• CP가 후처리에 대해 불변임을 보여주어 기계학습 파ip라인에서 강력한 공정성 보장을 가능하게 하는 것.

제안 방법

• 보호된 특성에 대해 조건부 변수 집합을 고려할 때 결과 분포가 보호된 특성에 대해 불변이 되어야 한다는 조건부 평등성(CP)을 공식 기준으로 제안한다.
• 분포 거리 측도를 사용한 ε-조건부 평등성 정의를 통해 근사적 공정성 검증을 가능하게 한다.
• 특징, 보호된 특성, 조건부 변수에 대한 커널 행렬과 중심화된 그램 행렬을 사용하여 힐버트-슈미트 독립성 기준(HSIC)을 활용한 CP에 대한 커널 기반 검정을 개발한다.
• 특징, 보호된 특성, 조건부 변수에 대한 중심화된 그램 행렬과 커널 행렬을 사용하여 HSIC 기반 검정 통계량의 닫힌 형태 표현식을 유도한다.
• 실제 보험 보험료 데이터에 검정을 적용하여, 주거지 인구 특성과 차량 특성을 함수로 모델링한다.
• HSIC 검정에서 조건부 기대값 추정을 안정화하기 위해 커널 리지 회귀 프레임워크 내에서 정규화(λ)를 사용한다.

실험 결과

연구 질문

• RQ1 조건부 평등성이 기존의 공정성 개념들인 인구 통계적 평등성, 동일한 기회, 반사적 공정성 등을 포함하는 통합적 형식으로 기능할 수 있는가?
• RQ2 특히 커널 방법을 사용할 때 조건부 평등성이 통계적 검정에 적합한가?
• RQ3 커널 기반 검정이 실세계 데이터에서, 예를 들어 차별적 보험 가격 설정과 같은 조건부 평등성 위반 여부를 어떻게 탐지할 수 있는가?
• RQ4 모델 출력이 후처리 변환을 받는 상황에서도 제안된 검정이 여전히 유효하고 강건한가?
• RQ5 위험 요인을 통제한 상황에서 검정이 소수 민족 거주지역 간 보험료 격차를 어느 정도 탐지할 수 있는가?

주요 결과

• 조건부 평등성은 기존의 인구 통계적 평등성, 동일한 기회, 반사적 공정성 등 다양한 공정성 정의를 특수한 경우로 포함한다.
• 조건부 평등성에 대한 커널 기반 검정은 후처리에 대해 불변이므로, 모델 출력이 변형되어도 공정성이 유지됨을 보장한다.
• 커널 행렬과 중심화된 그램 행렬을 사용하여 조건부 평등성의 검정 통계량을 닫힌 형태로 유도하여 효율적인 계산이 가능하다.
• 실제 보험 데이터에 대한 응용 분석을 통해 위험 요인을 조건으로 삼더라도 소수 민족 거주지역의 운전자에게 더 높은 보험료가 청구되는 심각한 격차가 존재함을 확인하였다.
• HSIC 기반 검정은 보호된 특성(예: 주거지 인종)과 결과(예: 보험료) 사이의 조건부 의존성을 성공적으로 탐지하여 잠재적인 비차별 위반 가능성을 시사한다.
• 이론적 분석을 통해 정규성 조건 하에서 검정 통계량이 잘 정의된 형태로 수렴함을 확인하여 유한 표본 설정에서의 활용 가능성을 뒷받침한다.