[논문 리뷰] Fairness With Minimal Harm: A Pareto-Optimal Approach For Healthcare

Natalia Martínez, Martín Bertrán외 1명|arXiv (Cornell University)|2019. 11. 16.

Healthcare cost, quality, practices참고 문헌 12인용 수 10

한 줄 요약

이 논문은 민감한 하위군 간의 위험 격차를 최소화하면서 불필요한 피해를 초래하지 않는 헬스케어 기계학습에서의 공정성에 대해 파레토 최적 접근을 제안한다. 동적 위험 균형 손실을 사용해 신경망을 훈련시킴으로써, 성능 저하를 최소화하면서 최신 기술 수준의 공정성을 달성하였으며, 이는 중환자실 생존 예측 및 피부 병변 분류 데이터셋에서 검증되었다.

ABSTRACT

Common fairness definitions in machine learning focus on balancing notions of disparity and utility. In this work, we study fairness in the context of risk disparity among sub-populations. We are interested in learning models that minimize performance discrepancies across sensitive groups without causing unnecessary harm. This is relevant to high-stakes domains such as healthcare, where non-maleficence is a core principle. We formalize this objective using Pareto frontiers, and provide analysis, based on recent works in fairness, to exemplify scenarios were perfect fairness might not be feasible without doing unnecessary harm. We present a methodology for training neural networks that achieve our goal by dynamically re-balancing subgroups risks. We argue that even in domains where fairness at cost is required, finding a non-unnecessary-harm fairness model is the optimal initial step. We demonstrate this methodology on real case-studies of predicting ICU patient mortality, and classifying skin lesions from dermatoscopic images.

연구 동기 및 목표

• 민감한 하위군 간의 위험 격차를 최소화함으로써 고위험 헬스케어 응용 분야에서의 공정성을 해결하기 위해.
• 공정성을 파레토 최적성으로 공식화하여, 다른 하위군이 향상되지 않는 한 어떤 하위군도 악화되지 않도록 보장하기 위해.
• 후행 보정을 피하고 모델의 유틸리티를 유지하는 훈련 방법론을 개발하기 위해.
• 실제 헬스케어 작업, 예를 들어 중환자실 생존 예측 및 피부 병변 분류에 이 방법을 적용하기 위해.
• 파레토 공정 모델이 전체 성능을 유지하면서 최소한의 위험 격차를 달성하는지 보여주기 위해.

제안 방법

• 이 방법은 하위집단 위험의 파레토 경계를 공정성 기준으로 정의하며, 이는 어떤 하위군도 다른 하위군을 해치지 않고도 개선될 수 없음을 의미한다.
• 최적의 분류기는 파레토 경계 내에서 하위군 간 최대 상대 위험 격차를 최소화하는 것으로 정의된다.
• 훈련 중 하위군 위험을 동적으로 재균형화할 수 있는 미분 가능하고 적응형 위험 균형 손실이 도입된다.
• 이 방법은 표준 분류기나 회귀 모델과 호환되며, 테스트 시점에 민감한 속성에 대한 접근이 필요하지 않다.
• 그룹별 위험 정규화를 적용하여 교차 엔트로피 및 브리어 스코어 손실을 사용해 신경망에 적용된다.
• 정확도와 브리어 스코어 지표를 사용해 MIMIC-III(중환자실 생존 예측) 및 HAM10000(피부 병변) 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 헬스케어 기계학습에서의 공정성은 어떤 방식으로 정의될 수 있으며, 이로 인해 어떤 하위군도 불필요하게 악화되지 않도록 방지할 수 있는가?
• RQ2 전체 모델 성능이 저하되지 않는 한, 최소한의 위험 격차를 달성하는 것이 가능한가?
• RQ3 유틸리티와 공정성 측면에서 파레토 최적성은 후행 보정 방법과 비교해 어떻게 다른가?
• RQ4 민감한 속성이 테스트 시점에 필요 없이 실제 헬스케어 작업에 이 방법을 적용할 수 있는가?
• RQ5 다양한 하위군에서 표준 기준 모델에 비해 파레토 공정 모델이 공정성과 정확도 양면에서 뛰어난 성능을 보일 수 있는가?

주요 결과

• MIMIC-III 데이터셋에서 파레토 공정 분류기는 브리어 스코어 0.29와 정확도 78.9%를 기록했으며, 나이브 및 리밸런싱 나이브 기준 모델보다 공정성 면에서 뛰어나면서도 높은 유틸리티를 유지했다.
• 피부 병변 분류에서 파레토 공정 모델은 정확도 격차를 나이브 기준 96.0%에서 31.7%로 감소시켰으며, 평균 정확도 78.6%를 유지했다.
• MIMIC-III에서 파레토 공정 모델은 가장 낮은 위험 격차 갭(0.29)을 기록했고, HAM10000에서는 가장 낮은 격차(0.501)를 기록하여, 자파르 및 ReN 기준 모델을 모두 능가했다.
• MIMIC-III에서 파레토 공정 모델은 나이브 분류기 대비 위험 격차를 56.3% 감소시켰으며, 성능 저하 없이도 유의미한 개선을 이뤘다.
• HAM10000에서 파레토 공정 모델은 브리어 스코어 격차를 나이브 기준 1.667에서 0.501로 감소시켜 공정성 향상이 뚜렷하게 나타났다.
• 파레토 공정 모델은 모든 하위군에서 파레토 최적성을 확보했으며, 이는 어떤 하위군도 다른 하위군의 향상 없이 위험에서 악화되지 않았음을 의미한다.