[논문 리뷰] (Un)fairness in Post-operative Complication Prediction Models

Sandhya Tripathi, Bradley A. Fritz외 4명|arXiv (Cornell University)|2020. 11. 03.

Artificial Intelligence in Healthcare and Education참고 문헌 43인용 수 4

한 줄 요약

이 논문은 퇀장 후 합병증 예측 모델에서의 공정성에 대해 조사하며, 성별 및 인종에 따른 편향을 탐지하고 완화하기 위해 성향 스코어 매칭과 의사결정나무 기반 유틸리티 분석을 통합한 모델 카드 유사 프레임워크를 제안한다. 분석 결과, 특히 AKI 예측에서 성별 및 인종 간에 알고리즘 유틸리티에 심각한 격차가 존재하는 것으로 나타났으며, 건강 격차를 악화시키지 않도록 표적적 데이터 수집과 모델 투명성을 확보할 필요성이 강조된다.

ABSTRACT

With the current ongoing debate about fairness, explainability and transparency of machine learning models, their application in high-impact clinical decision-making systems must be scrutinized. We consider a real-life example of risk estimation before surgery and investigate the potential for bias or unfairness of a variety of algorithms. Our approach creates transparent documentation of potential bias so that the users can apply the model carefully. We augment a model-card like analysis using propensity scores with a decision-tree based guide for clinicians that would identify predictable shortcomings of the model. In addition to functioning as a guide for users, we propose that it can guide the algorithm development and informatics team to focus on data sources and structures that can address these shortcomings.

연구 동기 및 목표

• 후술된 합병증 예측에 대한 기계학습 모델의 공정성과 잠재적 편향을 평가하기 위해.
• 성별 및 인종과 같은 보호 특성에 따라 비균형적인 대우가 발생하는지 감지할 수 있는 투명하고 감사 가능한 프레임워크를 개발하기 위해.
• 유틸리티 기반 의사결정나무를 통해 임상사와 개발자가 데이터 격차와 모델의 한계를 식별할 수 있도록 안내하기 위해.
• 임상 적용 이전에 알고리즘적 불공정성을 진단하여 뜻하지 않은 건강 격차를 방지하기 위해.
• 하위 집단 간 실제 임상 유틸리티와 모델 성능를 연결함으로써 의료 분야에서 공정한 AI를 촉진하기 위해.

제안 방법

• 저자들은 임상 예측 모델의 잠재적 편향을 투명하게 기록하기 위해 모델 카드 유사 문서화 프레임워크를 사용한다.
• 감정 변수가 민감한 특성(예: 성별, 인종)을 암시할 수 있는 잠재적 변수를 탐지하고 통제하기 위해 성향 스코어 매칭을 적용한다.
• 의사결정나무 기반 유틸리티 분석을 통해 성별, 인종, 수술 유형에 따라 모델 예측으로부터 가장 많은 이득을 보는 환자 또는 가장 적은 이득을 보는 환자를 식별한다.
• 표본 내 및 테스트 샘플 예측을 비교하여 정확도와 유틸리티 측면에서 하위 집단 간 성능 격차를 탐지하기 위해 분류기 성능을 비교한다.
• 분석 결과를 영역 전문가와 검토하여 핵심 임상 공변량을 식별하고, 성능 격차가 실제 임상적 변동성인지 알고리즘적 편향인지 평가한다.
• 로지스틱 회귀 및 랜덤 포레스트 분류기를 사용하며, 해석 가능성을 확보하기 위해 최소한의 비용-복잡도 프리닝을 적용한다.

실험 결과

연구 질문

• RQ1 후술된 합병증 예측 모델은 성별 및 인종 집단 간에 어떻게 다른 성능을 보이는가?
• RQ2 성별 및 인종과 같은 민감한 특성이 모델에 명시적으로 포함되지 않았더라도, 모델 유틸리티에 얼마나 큰 영향을 미치는가?
• RQ3 성향 스코어 매칭을 통해 임상 예측 모델에서 은폐된 편향을 가진 감정 변수를 탐지할 수 있는가?
• RQ4 차별적인 알고리즘 유틸리티를 이끄는 주요 임상 및 인구통계적 요인은 무엇인가?
• RQ5 임상의와 개발자는 유틸리티 기반 의사결정나무를 어떻게 활용하여 AI 기반 임상 의사결정 지원의 공정성과 투명성을 향상시킬 수 있는가?

주요 결과

• 급성 신부전(AKI) 예측에서 남성 환자 집단에서 모델 유틸리티에 심각한 격차가 발견되었으며, 남성 환자는 일관되게 낮은 유틸리티를 경험했다.
• 인종 간 격차는 더 작았지만 여전히 존재했으며, 흑인 환자는 백인 환자보다 모델 예측으로부터 더 높은 유틸리티 이득을 보였다.
• 의사결정나무 분석 결과, 인종과 연령이 모델에 명시적으로 포함되지 않았음에도 불구하고 알고리즘 유틸리티의 주요 결정 요인으로 확인되었다.
• 성향 스코어 매칭을 통해 민감한 특성을 암시할 수 있는 잠재적 감정 변수가 식별되었으며, 이는 모델 입력에 숨겨진 편향이 존재할 수 있음을 시사한다.
• 기본 모델에 성별 및 인종을 포함시킨 후에도 알고리즘은 이들을 상위 예측 변수로 선정하지 않았으며, 이는 그들의 영향력이 다른 공변량을 통해 매개되고 있음을 시사한다.
• 조금 더 신중한 모델 설계를 해도, 특히 소수 집단에서 측정되지 않거나 균형이 맞지 않는 데이터로 인해 잔여 불공정성이 지속될 수 있음을 이 연구는 입증했다.