[논문 리뷰] Assessing Fairness in the Presence of Missing Data

Yiliang Zhang, Qi Long|PubMed|2021. 12. 07.

Privacy-Preserving Technologies in Data참고 문헌 6인용 수 11

한 줄 요약

이 논문은 데이터에 결측치가 존재할 때 완전 케이스(Complete Cases) 기반으로 학습된 기계학습 모델에서 공정성(fairness)을 추정하기 위한 재가중 방법을 제안하며, 적절한 가중치 설정이 공정성 추정의 편향을 감소시킬 수 있음을 보여준다. 이는 결측 데이터 하에서 공정성 추정 오차에 대한 이론적 경계를 처음으로 제시하며, 추정 편향이 완전 케이스 분포와 완전 데이터 분포 간의 차이 및 성향 스코어 가중치의 정확도에 의존함을 입증한다.

ABSTRACT

Missing data are prevalent and present daunting challenges in real data analysis. While there is a growing body of literature on fairness in analysis of fully observed data, there has been little theoretical work on investigating fairness in analysis of incomplete data. In practice, a popular analytical approach for dealing with missing data is to use only the set of complete cases, i.e., observations with all features fully observed to train a prediction algorithm. However, depending on the missing data mechanism, the distribution of complete cases and the distribution of the complete data may be substantially different. When the goal is to develop a fair algorithm in the complete data domain where there are no missing values, an algorithm that is fair in the complete case domain may show disproportionate bias towards some marginalized groups in the complete data domain. To fill this significant gap, we study the problem of estimating fairness in the complete data domain for an arbitrary model evaluated merely using complete cases. We provide upper and lower bounds on the fairness estimation error and conduct numerical experiments to assess our theoretical results. Our work provides the first known theoretical results on fairness guarantee in analysis of incomplete data.

연구 동기 및 목표

• 결측치가 포함된 데이터에서 공정성 추정에 대한 이론적 이해 부족이라는 핵심적 격차를 해소하기 위해.
• 결측 데이터 메커니즘(MCAR, MAR, MNAR)이 완전 케이스 분석에서 공정성 추정에 미치는 영향을 조사하기 위해.
• 완전 케이스와 목표 완전 데이터 인구집단 간의 도메인 스피드(domain shift)로 인한 공정성 추정 편향을 보정하기 위한 재가중 방법을 개발하기 위해.
• 표본 크기와 가중치 정확도의 영향을 정량화하여 공정성 추정 오차에 대한 이론적 경계를 제공하기 위해.
• MCAR, MAR, MNAR 메커니즘 하에서 실세계 데이터셋(COMPAS 및 ADNI)을 대상으로 방법을 실증적으로 검증하기 위해.

제안 방법

• 완전 케이스에 대한 추정된 성향 스코어를 기반으로 가중치를 할당함으로써 완전 케이스 분석에서의 선택 편향을 보정하는 재가중 기법을 제안한다.
• 공정성 추정 오차의 상한 및 하한을 유도하며, 이를 표본 크기, 분포 간 총 변동 거리(total variation distance), 가중치 정확도와 관련된 항들로 분해한다.
• 완전 케이스와 완전 데이터 분포 간의 총 변동 거리를 도메인 스피드의 핵심 측정 기준으로 사용한다.
• 정확도 평판 갭(accuracy parity gap)을 공정성 지표로 사용하여 분류 및 회귀 과제에 모두 적용한다.
• MAR 및 MNAR 설정 하에서 결측 메커니즘(성향 스코어)을 추정하기 위해 로지스틱 회귀 및 기타 모델을 활용한다.
• MCAR, MAR, MNAR 메커니즘 하에서 COMPAS 및 ADNI 데이터셋을 대상으로 한 시뮬레이션 및 실데이터 실험을 통해 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 완전 케이스만을 사용하여 모델을 학습할 경우, 결측 데이터가 공정성 추정에 어떤 영향을 미치는가?
• RQ2 완전 케이스와 완전 데이터 분포 간의 차이와 공정성 추정 오차 사이의 이론적 관계는 무엇인가?
• RQ3 추정된 성향 스코어를 기반으로 한 재가중이 결측 데이터 환경에서의 공정성 추정 편향을 줄일 수 있는가?
• RQ4 다양한 결측 데이터 메커니즘(MCAR, MAR, MNAR)이 완전 케이스 분석 하에서 공정성 추정 성능에 어떤 영향을 미치는가?
• RQ5 민감 그룹 간의 표본 불균형이 결측 데이터 환경에서 공정성 추정 편향에 어느 정도 기여하는가?

주요 결과

• MCAR 하에서는 모든 가중치 전략, 포함된 무가중 추정까지도 동일하고 타당한 공정성 추정을 제공하며, 이는 예상되는 바이다.
• MAR 하에서는 진정된 성향 스코어 가중치가 가장 낮은 편향을 보이며, 올바르게 설정된 모델 기반 로지스틱 회귀 가중치도 거의 동일한 성능을 보인다.
• MNAR 하에서는 모든 작업 모델이 잘못 설정되어 있으며, 모든 가중치 전략이 진정된 가중치보다 더 큰 편향을 유발함을 보여, 모델 잘못 설정의 과제를 강조한다.
• 민감 그룹 간의 표본 불균형은 특히 비무시적 결측 메커니즘 하에서 공정성 추정 편향을 크게 증가시킨다.
• 공정성 추정 오차에 대한 이론적 경계는 실증적으로 검증되었으며, 도메인 스피드와 가중치 정확도가 떨어질수록 편향이 증가함을 보여준다.
• 결측 데이터 메커니즘이 적절히 고려되지 않은 경우, 조건이 충족되더라도 완전 케이스 기반 공정성 추정이 상당한 편향을 보일 수 있음을 결과들이 입증한다.