[논문 리뷰] Addressing multiple metrics of group fairness in data-driven decision making

Marius Miron, Songül Tolan외 2명|arXiv (Cornell University)|2020. 03. 10.

Ethics and Social Impacts of AI참고 문헌 31인용 수 6

한 줄 요약

이 논문은 데이터 기반 의사결정 시스템에서 다양한 집단과 기계학습 모델 간의 다수의 공정성 지표를 평가하고 시각화하기 위해 행렬 기반 프레임워크 $\mathbf{M}_p$를 제안한다. 공정성 지표(예: 인구 통계적 평등성, 동등한 기회)와 그 분산을 계산함으로써, 상호 간의 상충 관계와 성능 패턴을 드러내는 계층적 클러스터링을 가능하게 하며, Statlog, YouthCAT, COMPAS와 같은 데이터셋에서 공정성 상충 관계가 집단과 모델에 따라 달라짐을 입증한다.

ABSTRACT

The Fairness, Accountability, and Transparency in Machine Learning (FAT-ML) literature proposes a varied set of group fairness metrics to measure discrimination against socio-demographic groups that are characterized by a protected feature, such as gender or race.Such a system can be deemed as either fair or unfair depending on the choice of the metric. Several metrics have been proposed, some of them incompatible with each other.We do so empirically, by observing that several of these metrics cluster together in two or three main clusters for the same groups and machine learning methods. In addition, we propose a robust way to visualize multidimensional fairness in two dimensions through a Principal Component Analysis (PCA) of the group fairness metrics. Experimental results on multiple datasets show that the PCA decomposition explains the variance between the metrics with one to three components.

연구 동기 및 목표

• 기계학습에서 종종 상충되는 다수의 공정성 지표를 평가하는 데 도전하는 것.
• 다양한 인구 통계적 집단과 기계학습 모델 간의 공정성 지표 간의 상충 관계를 식별하고 시각화하는 것.
• 실세계 의사결정 시스템에서 공정성을 종합적으로 평가할 수 있는 통합 분석 도구를 연구자와 실무자에게 제공하는 것.
• 공정성 성능이 집단과 모델에 따라 크게 달라지며, 다중 지표 평가의 필요성을 부각하는 것.

제안 방법

• 이 방법은 행이 기계학습 모델과 집단을, 열이 공정성 지표와 그 분산을 나타내는 행렬 $\mathbf{M}_p$를 구성한다.
• 각 집단과 모델 조합에 대해 인구 통계적 평등성 차이, 동등한 기회 차이, 평균 오dds 차이와 같은 표준 공정성 지표를 계산한다.
• 각 공정성 지표의 분산을 계산하여 데이터 분할에 따른 공정성 추정의 안정성과 신뢰성 평가를 수행한다.
• 계층적 클러스터링을 행과 열 모두에 적용하여 구조적 관계와 상충 관계를 드러낸다.
• 보호된 속성으로 'personal_status', 'sex', 'race', 'foreigner'를 사용하여 Statlog, YouthCAT, COMPAS 세 개의 실세계 데이터셋에 프레임워크를 적용한다.
• 결과로 생성된 시각화(예: 디ンド로그램이 포함된 히트맵)를 통해 모델과 집단 간의 공정성 성능를 비교 분석할 수 있다.

실험 결과

연구 질문

• RQ1 실세계 데이터셋에서 다양한 인구 통계적 집단과 기계학습 모델 간에 공정성 지표가 어떻게 상관관계를 가지는가?
• RQ2 다양한 지표를 동시에 평가할 때 공정성 성능의 주요 패턴은 무엇인가?
• RQ3 공정성 상충 관계가 다양한 보호 속성과 모델 유형에 따라 얼마나 다를 수 있는가?
• RQ4 분산을 통해 볼 때 공정성 지표 추정은 데이터 분할에 대해 얼마나 안정적인가?
• RQ5 공정성 지표와 집단에 대한 계층적 클러스터링은 모델 선택 및 공정성 완화를 위한 실질적인 통찰을 드러내는가?

주요 결과

• 행렬 $\mathbf{M}_p$는 Statlog, YouthCAT, COMPAS와 같은 데이터셋에서 다양한 집단과 모델 간의 다중 지표 공정성 성능를 성공적으로 캡처하고 시각화한다.
• 계층적 클러스터링은 공정성 지표와 모델-집단 조합 간에 명확한 군집을 드러내어, 공정성 상충 관계가 모든 집단에서 균일하지 않음을 시사한다.
• 공정성 지표 추정의 상당한 분산이 관찰되어 일부 공정성 결과가 데이터 분할에 따라 불안정할 수 있음을 시사한다.
• 모델은 지표 간에 일관되지 않은 공정성 성능를 보였다—예를 들어, 한 모델이 높은 인구 통계적 평등성을 달성할 수 있지만, 특정 집단에 대해서는 동등한 기회 지표에서 성능이 열 劣하다.
• 프레임워크는 한 지표에서의 공정성 향상이 다른 지표의 성능 악화를 동반한다는 것을 드러내었으며, 특히 교차 집단 정체성 고려 시 더욱 두드러진다.
• 시각화 결과는 일부 보호 속성(예: COMPAS에서의 'race')이 다른 속성보다 더 복잡한 공정성 상충 관계 패턴을 유도한다는 점을 강조한다.