[논문 리뷰] Diagnosing failures of fairness transfer across distribution shift in real-world medical settings

Jessica Schrouff, Natalie Harris외 15명|arXiv (Cornell University)|2022. 02. 02.

Explainable Artificial Intelligence (XAI)인용 수 32

한 줄 요약

논문은 조건부 독립성 검정을 공동 인과 프레임워크 내에서 도입하여 분포 이동이 의료의 공정성 전달에 미치는 영향을 진단하고, 이를 피부과 및 EHR 데이터로 시演해 완화 전략을 안내한다.

ABSTRACT

Diagnosing and mitigating changes in model fairness under distribution shift is an important component of the safe deployment of machine learning in healthcare settings. Importantly, the success of any mitigation strategy strongly depends on the structure of the shift. Despite this, there has been little discussion of how to empirically assess the structure of a distribution shift that one is encountering in practice. In this work, we adopt a causal framing to motivate conditional independence tests as a key tool for characterizing distribution shifts. Using our approach in two medical applications, we show that this knowledge can help diagnose failures of fairness transfer, including cases where real-world shifts are more complex than is often assumed in the literature. Based on these results, we discuss potential remedies at each step of the machine learning pipeline.

연구 동기 및 목표

• 의료 ML 시스템에서 분포 이동이 공정성 전달에 미치는 영향을 동기 부여하고 정량화한다.
• 소스에서 대상 데이터셋으로의 시프트 구조를 진단하기 위한 실용적인 인과 테스트 툴킷을 제공한다.
• 실세계 의학 작업에서 시프트 구조가 공정성 완화 전략의 효과에 미치는 영향을 시연한다.

제안 방법

• S 시프트 변수를 포함한 Joint Causal Inference (JCI) 프레임워크를 채택하여 소스 대 대상 환경을 모델링한다.
• 응용 사례를 causal Bayesian network로 표현하고, S가 A, X, Y에 직접적 영향을 미치는지 테스트하여 시프트 화살표 S→A, S→X, S→Y를 식별한다.
• 인과적 부모를 제어하기 위한 균형 가중치를 사용하는 조건부 독립성 검사 절차를 사용하고 각 변수 U∈{A,X,Y}에 대해 S→U를 평가한다.
• Algorithm 1의 알고리즘적 단계를 제공하여 재가중 평균을 계산하고 부트스트랩 기반 t-검정을 수행하여 H0: P(U|pa(U),S=0)=P(U|pa(U),S=1)일 때의 p-값을 얻는다.
• 피부과 및 EHR 사례 연구를 통해 접근법을 검증하고 복합 시프트를 진단하고 완화 선택을 안내한다.

실험 결과

연구 질문

• RQ1 소스와 대상 환경 간의 분포 시프트 구조가 의료 ML 모델의 공정성 전달에 어떻게 영향을 미치는가?
• RQ2 인과 그래프 내에서 조건부 독립성 검정이 시프트 S에 의해 영향을 받는 구성요소(A, X, Y)를 식별할 수 있는가?
• RQ3 실세계 의학 데이터에서 관찰된 시프트 구조에 따라 어떤 완화 전략이 적합한가?
• RQ4 실세계의 시프트는 단순한 형태(예: 배타적 공변량 시프트)인지 아니면 여러 변수에 영향을 주는 복합 시프트인가?
• RQ5 시프트 구조 인사이트가 공정성 포스트 프로세싱이나 다른 완화 방법의 효과에 어떤 영향을 미치는가?

주요 결과

• 실제 의료 데이터의 시프트는 종종 복합적이며 민감 속성, 공변량, 라벨에 동시에 영향을 준다.
• 피부과에서 연령 및 기타 속성이 직접 시프트(S→A)와 라벨에 대한 직접 시프트(S→Y), 이미지 특징에 대한 시프트(S→X)를 보였고, 이는 공정성 전달 실패를 설명한다.
• EHR 연구에서 ICU 단위 유형 시프트(S)는 연령, 성별, 동반질환, 치료 및 검사실 데이터에 변화를 유발하여 공정성 전달을 약화시키는 복합 시프트를 나타낸다.
• 소스 데이터에 대해 인구통계적 동등성 또는 동등한 기회 보장을 강제하는 후처리는 해당 측정치를 개선할 수 있지만 복합 시프트 하에서는 대상에서 공정성을 악화시킬 수 있다.
• 식별된 시프트 구조를 바탕으로 한 완화책은 복합 시프트나 라벨 시프트 하에서 제한된 보장을 제공하므로 ML 파이프라인 전반에 걸친 더 폭넓은 해결책이 필요하다.
• 데이터 수집, 결과 정의, 배치 안전장치에 대한 실용적 권고를 논한다.