[논문 리뷰] Fair Predictors under Distribution Shift

Harvineet Singh, Rina Singh외 2명|arXiv (Cornell University)|2019. 11. 02.

Explainable Artificial Intelligence (XAI)참고 문헌 22인용 수 4

한 줄 요약

이 논문은 인과적 도메인 적응을 활용하여 정의의 제약 조건 하에 특징을 선택하여, 분포 이동 상황에서도 정확도와 공정성이 유지되는 기계학습 예측 모델을 훈련하는 방법을 제안한다. 이는 시범 데이터와 측정 정책 변화 및 선택 편향이 존재하는 실세계 급성 신장 손상 진단 과제에서, 예측 및 공정성 측면에서 안정된 성능을 보여주며, 예측 성능과 공정성의 안정성을 동시에 확보한다.

ABSTRACT

Recent work on fair machine learning adds to a growing set of algorithmic safeguards required for deployment in high societal impact areas. A fundamental concern with model deployment is to guarantee stable performance under changes in data distribution. Extensive work in domain adaptation addresses this concern, albeit with the notion of stability limited to that of predictive performance. We provide conditions under which a stable model both in terms of prediction and fairness performance can be trained. Building on the problem setup of causal domain adaptation, we select a subset of features for training predictors with fairness constraints such that risk with respect to an unseen target data distribution is minimized. Advantages of the approach are demonstrated on synthetic datasets and on the task of diagnosing acute kidney injury in a real-world dataset under an instance of measurement policy shift and selection bias.

연구 동기 및 목표

• 실세계 배포에서 분포 이동이 발생할 경우 예측 정확도와 공정성을 유지하는 데 도전하는 문제를 다루기.
• 도메인 적응 기법을 예측 성능 외에도 공정성의 안정성 기준으로 확장하기.
• 미래의 목표 데이터 분포에서의 위험을 최소화하면서도 공정성 제약 조건을 강제하는 프레임워크 개발하기.
• 분포 이동 상황에서도 예측 및 공정성 지표에서 안정된 성능을 내는 데 기여하는 특징의 부분집합을 식별하고 선택하기.

제안 방법

• 원천 및 목표 분포 간의 관계를 모델링하기 위해 인과적 도메인 적응 프레임워크 내에서 문제를 수립하기.
• 목표 분포에서 예측 위험과 공정성 제약 조건을 동시에 최적화하는 특징의 부분집합을 훈련에 선택하기.
• 목표 분포에서의 예측 오차와 공정성 위반을 고려한 위험 최소화 목표 함수 사용하기.
• 모델 성능이 분포 이동 동안 안정적으로 유지되도록 훈련 과정에 공정성 제약 조건을 통합하기.
• 측정 정책 변화 및 선택 편향 상황에서 시범 데이터와 실세계 급성 신장 손상 진단 데이터셋에 이 방법 적용하기.
• 인과적 가정을 활용하여 분포 이동에 강건하면서도 공정성을 유지하는 특징 식별하기.

실험 결과

연구 질문

• RQ1 기계학습 모델은 분포 이동 상황에서도 높은 예측 정확도와 공정성을 유지할 수 있는가?
• RQ2 예측 성능을 훼손시키지 않고 다양한 데이터 분포 간에 공정성을 어떻게 안정화할 수 있는가?
• RQ3 분포 이동 상황에서 정확성과 공정성의 일반화 성능을 잘 확보하는 데 가장 효과적인 특징는 무엇인가?
• RQ4 실세계 데이터에서 측정 정책 변화 및 선택 편향 상황에서 제안된 방법이 공정성 열화를 어느 정도 감소시키는가?

주요 결과

• 제안된 방법은 시범 데이터와 실세계 설정 모두에서 분포 이동 상황에서도 예측 및 공정성 성능이 안정적이며, 기준 방법보다 뛰어난 성능을 보였다.
• 공정성 제약 조건 하에 특징을 선택하는 것이 분포 이동에 대한 강건성을 크게 향상시키며, 특히 측정 정책 변화 상황에서 두드러진다.
• 공정성 인식 특징 선택 없이 훈련된 모델에 비해, 목표 분포에서의 공정성 열화가 감소함을 확인하였다.
• 급성 신장 손상 데이터셋에 대한 실증 결과는 선택 편향 상황에서 예측 정확도와 공정성 지표 모두에서 일반화 성능 향상을 보였다.
• 이 방법은 도메인 적응에서 예측 성능 외에도 공정성이 안정성 기준으로 유지될 수 있음을 보여주었다.
• 도메인 이동의 인과적 모델링을 통해 분포 변화 상황에서도 예측 가능하고 공정한 특징를 식별할 수 있었다.