[논문 리뷰] Fair Decisions Despite Imperfect Predictions

Niki Kilbertus, Manuel Gomez-Rodriguez외 3명|arXiv (Cornell University)|2019. 02. 08.

Explainable Artificial Intelligence (XAI)참고 문헌 44인용 수 10

한 줄 요약

이 논문은 선택적 레이블이 부여된 편향된 데이터로 훈련된 예측 모델에 의존하는 대신, 직접적으로 의사결정 정책을 학습하여 중요한 의사결정에서 유틸리티와 공정성 모두를 향상시키는 것을 제안한다. 데이터 부족으로 인한 열악한 결정을 피하기 위해 정책 학습에 탐색을 통합함으로써, 특히 엄격한 민족적 평등성 제약 조건 하에서도 더 높은 유틸리티와 감소된 공정성 위반을 달성한다.

ABSTRACT

Consequential decisions are increasingly informed by sophisticated data-driven predictive models. However, to consistently learn accurate predictive models, one needs access to ground truth labels. Unfortunately, in practice, labels may only exist conditional on certain decisions---if a loan is denied, there is not even an option for the individual to pay back the loan. Hence, the observed data distribution depends on how decisions are being made. In this paper, we show that in this selective labels setting, learning a predictor directly only from available labeled data is suboptimal in terms of both fairness and utility. To avoid this undesirable behavior, we propose to directly learn decision policies that maximize utility under fairness constraints and thereby take into account how decisions affect which data is observed in the future. Our results suggest the need for a paradigm shift in the context of fair machine learning from the currently prevalent idea of simply building predictive models from a single static dataset via risk minimization, to a more interactive notion of "learning to decide". In particular, such policies should not entirely neglect part of the input space, drawing connections to explore/exploit tradeoffs in reinforcement learning, data missingness, and potential outcomes in causal inference. Experiments on synthetic and real-world data illustrate the favorable properties of learning to decide in terms of utility and fairness.

연구 동기 및 목표

• 선택적 레이블이 부여된 데이터로 훈련된 예측 모델의 한계를 해결하기 위해, 의사결정이 관측된 레이블에 영향을 미친다는 점을 고려한다.
• 정적 데이터에서 예측을 학습하는 것은 초기 정책이 비최적일 경우에 특히 유틸리티와 공정성 측면에서 열등한 성능을 낳는다는 것을 보여준다.
• 공정성 제약 조건 하에서 의사결정 정책을 직접 최적화함으로써 '예측을 학습하는 것'에서 '결정을 학습하는 것'으로의 범주 전환을 제안한다.
• 초기 불확실성에도 불구하고 탐색 정책이 결정 기반의 정적 임계값 규칙보다 장기적으로 더 높은 유틸리티와 공정성을 달성한다는 것을 입증한다.
• 실세계 환경에서 공정하고 탐색적인 의사결정 정책을 학습하기 위한 실용적이고 기울기 기반 알고리즘을 개발한다.

제안 방법

• 의사결정을 공정성 제약 조건 하에서 정책 최적화 문제로 공식화하여, 의사결정이 향후 데이터 수집에 영향을 미친다는 점을 고려한다.
• 비편향된 데이터에 과적합되지 않도록, 입력 공간의 미관측 영역을 탐색하는 확률적 의사결정 정책을 학습하기 위한 기울기 기반 알고리즘을 도입한다.
• 특징 x와 민감한 속성 z를 입력으로 받아 결정 d를 출력하는 확률적 함수 π(x,z)로 정책를 모델링하며, 엔트로피 정규화를 통해 탐색을 제어한다.
• 시간에 따라 누적되는 보상과 공정성 페널티(예: 민족적 평등성)를 라그랑주 승수 λ를 통해 통합하는 유틸리티 함수를 사용한다.
• 각 업데이트가 향후 데이터 가용성과 공정성에 미치는 영향을 반영하도록, 미니배치 데이터를 기반으로 온라인 업데이트를 수행하여 정책을 훈련한다.
• 평가를 위해 보류된 테스트 세트에서 공정성 지표(예: 민족적 평등성)와 유틸리티를 추정하여 정책 성능을 평가한다.

실험 결과

연구 질문

• RQ1 선택적 레이블이 있는 환경에서, 예측 모델에 의존하는 대신 의사결정 정책을 직접 학습하는 것이 유틸리티와 공정성 측면에서 더 나은 성능을 낼 수 있는가?
• RQ2 의사결정 정책에서의 탐색은 결정 기반의 정적 임계값 규칙에 비해 장기적인 유틸리티와 공정성에 어떤 영향을 미치는가?
• RQ3 입력 공간의 미관측 영역을 탐색하는 정책이 데이터 편향으로 인한 공정성 위반을 어느 정도 줄일 수 있는가?
• RQ4 초기 정책이 비최적일 경우, '예측을 학습하는 것'에서 '결정을 학습하는 것'으로의 전환은 성능 향상에 기여하는가?
• RQ5 데이터 수집 피드백 루프를 고려한 정책 학습 프레임워크에 공정성 제약 조건을 어떻게 통합할 수 있는가?

주요 결과

• t=100 훈련 스텝 이후, 공정성 제약 조건이 없더라도 탐색 정책은 결정 기반의 정적 임계값 규칙보다 뛰어난 유틸리티를 보인다.
• 명시적인 공정성 제약 조건 없이도 탐색 정책은 정적 규칙보다 민족적 평등성 위반을 더 줄이며, 이는 내재된 공정성 이점이 있음을 시사한다.
• λ를 통해 공정성 제약 조건을 적용할 경우, 이 방법은 완벽한 민족적 평등성을 달성하면서도 비공정 기반 베이스라인과 경쟁 가능한 유틸리티 수준을 유지한다.
• 유틸리티-공정성 트레이드오프는 잘 관리된다: λ를 증가시킬수록 유틸리티는 감소하지만, 완전한 민족적 평등성을 달성할 수 있으며, 이는 제어 가능한 공정성을 보여준다.
• COMPAS 데이터셋에서 t=200 시점의 최종 정책는 제한된 능력의 로지스틱 모델 클래스를 사용함에도 불구하고, 정적 임계값 규칙보다 더 낮은 공정성 위반과 더 높은 유틸리티를 달성한다.
• 결과는 탐색이 유틸리티 향상 외에도 데이터 내 미반영된 집단에 접근함으로써 본질적으로 공정성을 향상시킨다는 것을 시사한다.