[논문 리뷰] Fairness without Imputation: A Decision Tree Approach for Fair Prediction with Missing Values

Haewon Jeong, Hao Wang외 1명|arXiv (Cornell University)|2021. 09. 21.

Ethics and Social Impacts of AI인용 수 6

한 줄 요약

이 논문은 결측치를 명시적으로 보간하지 않고도 정의된 데이터 보간 없이 정의된 공정성과 정확도를 동시에 최적화하는 Fair MIP Forest를 제안한다. MIA(Missing Incorporated as an Attribute)와 혼합정수계획법(MIP)을 사용하여 결측치를 처리하면서도 공정성을 확보한다. 실제 데이터셋에서 보간된 데이터에 대해 훈련된 공정성 인식 모델보다 우수한 성능을 보이며, 그룹 간 결측 패턴이 다를 경우 별도의 보간과 공정성 보정이 편향된 결과를 초래함을 입증한다.

ABSTRACT

We investigate the fairness concerns of training a machine learning model using data with missing values. Even though there are a number of fairness intervention methods in the literature, most of them require a complete training set as input. In practice, data can have missing values, and data missing patterns can depend on group attributes (e.g. gender or race). Simply applying off-the-shelf fair learning algorithms to an imputed dataset may lead to an unfair model. In this paper, we first theoretically analyze different sources of discrimination risks when training with an imputed dataset. Then, we propose an integrated approach based on decision trees that does not require a separate process of imputation and learning. Instead, we train a tree with missing incorporated as attribute (MIA), which does not require explicit imputation, and we optimize a fairness-regularized objective function. We demonstrate that our approach outperforms existing fairness intervention methods applied to an imputed dataset, through several experiments on real-world datasets.

연구 동기 및 목표

• 결측 패턴이 사회경제적 집단 간으로 다를 경우, 보통의 공정성 알고리즘을 보간된 데이터에 적용해도 공정성이 유지되는지 조사하는 것.
• 보간 후 공정성 조치를 적용하는 일반적인 관행에서 발생하는 삼중의 차별 위험 원인을 규명하고 분석하는 것.
• 명시적 보간 없이 공정성과 정확도를 동시에 최적화하는 종단 간 방법을 개발하여 집단 기반 결측 패턴 하에서 공정성을 유지하는 것.
• 실험을 통해 제안된 방법이 기존의 보간된 데이터에 적용된 공정성 알고리즘보다 더 나은 공정성-정확도 트레이드오프를 달성함을 입증하는 것.

제안 방법

• 이 방법은 결측치를 결정트리 분할에서 별도의 카테고리로 간주하는 Missing Incorporated as an Attribute(MIA)를 사용하여 명시적 보간이 필요 없도록 한다.
• 학습 목표를 혼합정수계획법(MIP)으로 공식화하여 정확도와 공정성을 동시에 최적화하며, 공정성 정규화된 목적 함수를 사용한다.
• 알고리즘은 공정성 제약 조건을 트리 구축 과정에 직접 통합하여 예측 성능과 함께 공정성을 최적화한다.
• 일반화 성능 향상과 훈련 시간 단축을 위해 공정 트리의 앙상블(Fair MIP Forest)을 사용한다.
• 정확도와 공정성의 균형을 맞추기 위해 공정성 정규화 파라미터(λ)를 튜닝하며, 다양한 데이터셋에서 서로 다른 값을 테스트한다.
• 세 가지 실제 데이터셋(HSLS, COMPAS, Adult)에서 평가되었으며, 집단 기반 결측 패턴을 반영하도록 인위적인 결측 패턴을 설계하였다.

실험 결과

연구 질문

• RQ1 결측 패턴이 사회경제적 집단 간으로 다를 경우, 보간된 데이터에 공정성 알고리즘을 적용해도 공정성이 유지되는가?
• RQ2 별도의 보간 및 공정성 보정 파ipeline를 사용할 때 발생하는 세 가지 주요 차별 위험 원인은 무엇인가?
• RQ3 결측 데이터와 공정성을 동시에 처리하는 통합 프레임워크가 기존의 이중 단계 접근법(보간 후 보정)을 초월할 수 있는가?
• RQ4 다양한 후속 학습 작업에 걸쳐 보편적으로 공정한 보간 방법을 만들 수 있는 기본적인 제약 조건이 존재하는가?
• RQ5 집단 기반 결측 패턴이 있는 데이터셋에서 제안된 Fair MIP Forest 방법은 기존의 공정성 알고리즘과 비교해 공정성-정확도 트레이드오프에서 어떤가?

주요 결과

• 이 연구는 이중 단계 보간-공정성 파이프라인에서 발생하는 세 가지 주요 차별 위험 원인을 규명했다: 집단 간 보간 편향, 훈련과 추론 간 보간의 일관성 부족, 보편적인 공정한 보간 방법의 불가능성.
• Fair MIP Forest는 HSLS, COMPAS, Adult 데이터셋에서 보간된 데이터에 적용된 공정성 알고리즘보다 뛰어난 공정성-정확도 트레이드오프를 달성했다.
• HSLS 데이터셋에서 Fair MIP Forest는 백인과 소수자원(URM) 학생 간 예측 결과의 공정성 격차를 줄였으며, 특히 보호자 교육 수준과 대학 진학 계획과 같은 변수에서 두드러진 효과를 보였다.
• 높은 결측률 조건에서도 높은 정확도를 유지하면서도, 인구 통계적 집단 간의 양성 및 음성 예측 오류 비율 격차를 크게 줄였다.
• 깊이 3인 30개의 트리 앙상블와 1분의 시간 제한을 설정한 결과, 모든 데이터셋에서 성능과 계산 비용의 최적 균형을 달성했다.
• 공정성 정규화된 MIP 공식화는 공정성과 정확도를 성공적으로 균형 잡았으며, 최적의 λ 값은 각각 HSLS, COMPAS, Adult에 대해 0.1, 1.0, 3.0로 확인되었다.