[논문 리뷰] Improving the Fairness of Chest X-ray Classifiers

Haoran Zhang, Natalie Dullerud외 4명|arXiv (Cornell University)|2022. 03. 23.

Radiomics and Machine Learning in Medical Imaging인용 수 10

한 줄 요약

이 논문은 흉부 X-ray 분류기에서의 공정성에 대해 그룹 공정성 정의와 최소최대 공정성 정의를 비교하여, 단순한 데이터 균형 조정이 복잡한 탈편향 방법보다 성능이 뛰어나며, 그룹 공정성 방법은 종종 모든 그룹에서 성능을 떨어뜨린다는 것을 발견하였다. 저자들은 알고리즘적 수정보다 데이터 편향의 근본 원인 분석을 우선시할 것을 주장한다.

ABSTRACT

Deep learning models have reached or surpassed human-level performance in the field of medical imaging, especially in disease diagnosis using chest x-rays. However, prior work has found that such classifiers can exhibit biases in the form of gaps in predictive performance across protected groups. In this paper, we question whether striving to achieve zero disparities in predictive performance (i.e. group fairness) is the appropriate fairness definition in the clinical setting, over minimax fairness, which focuses on maximizing the performance of the worst-case group. We benchmark the performance of nine methods in improving classifier fairness across these two definitions. We find, consistent with prior work on non-clinical data, that methods which strive to achieve better worst-group performance do not outperform simple data balancing. We also find that methods which achieve group fairness do so by worsening performance for all groups. In light of these results, we discuss the utility of fairness definitions in the clinical setting, advocating for an investigation of the bias-inducing mechanisms in the underlying data generating process whenever possible.

연구 동기 및 목표

• 그룹 공정성 또는 최소최대 공정성이 흉부 X-ray 분류기에게 더 적합한가 평가하기 위해.
• 두 개의 공개 흉부 X-ray 데이터셋(MIMIC-CXR 및 CheXpert)에서 두 가지 공정성 정의 하에 아홉 가지 공정성 방법을 벤치마킹하기 위해.
• 탈편향 방법이 악화되지 않은 상태에서 가장 열악한 그룹의 성능을 향상시키는가를 조사하기 위해.
• 특히 '발견 없음' 예측에서 레이블 편향이 성능 격차에 어떤 역할을 하는지 탐색하기 위해.
• 데이터 기원 분 析과 다양한 메트릭 기반 성능 평가를 바탕으로 헬스케어 분야에서 공정한 기계학습 도입을 위한 권고 사항을 제공하기 위해.

제안 방법

• 저자들은 MIMIC-CXR 및 CheXpert 데이터셋에서 경험적 리스크 최소화(ERM) 및 균형 ERM를 사용하여 딥러닝 모델을 훈련하고 평가한다.
• 그들은 그룹 공정성(예: 적대적 탈편향, 재가중) 및 최소최대 공정성(예: 최소최대 최적화)을 목표로 하는 아홉 가지 공정성 방법을 적용하여 가장 열악한 그룹의 성능을 향상시킨다.
• 일부 자동 NLP 시스템에 의해 '발견 없음'으로 레이블링된 1,200건의 MIMIC-CXR 보고서를 방사선과 전문의가 수동으로 재레이블링하여 레이블 품질을 평가한다.
• 연구는 공정성과 성능을 평가하기 위해 여러 메트릭(TPR, FPR, 校정성)과 운영 임계값을 기반으로 모델을 평가한다.
• 보호 그룹(예: 성별, 연령) 간의 성능을 비교하고 校정성 및 오류율 격차를 분석한다.
• 통계적 검정을 통해 유의미한 성능 격차를 확인하고, 탈편향 방법이 이러한 격차를 감소시키는지 또는 악화시키는지 평가한다.

실험 결과

연구 질문

• RQ1 보호 그룹 간의 격차를 최소화하는 것(그룹 공정성)이 흉부 X-ray 분류에서 최소최대 공정성보다 가장 열악한 그룹의 성능을 향상시키는가?
• RQ2 기존의 알고리즘적 탈편향 방법이 어떤 그룹의 성능도 악화시키지 않고 공정성을 향상시키는가?
• RQ3 자동 NLP 레이블링 과정에서 발생하는 레이블 편향이 '발견 없음' 예측의 성능 격차 원인인가?
• RQ4 단순한 데이터 균형 조정이 임상 공정성 벤치마크에서 복잡한 공정성 인식 학습 방법보다 성능이 뛰어나나?
• RQ5 어떤 조건에서 공정성을 가장 열악한 그룹의 성능 최소화로 정의할 것인가, 아니면 그룹 간 오류율을 균형화하는 것으로 정의할 것인가?

주요 결과

• 단순한 데이터 균형 조정이 아홉 가지 공정성 방법 전부보다 가장 열악한 그룹의 성능 향상에서 뛰어나며, 데이터 정제가 알고리즘적 탈편향보다 효과적임을 시사한다.
• 그룹 공정성을 달성하는 탈편향 방법은 종종 모든 보호 그룹의 성능을 악화시키며, 공정성과 전체 정확도 사이에 상충 관계가 있음을 나타낸다.
• 보호 그룹 간에 TPR 및 FPR에 심각한 성능 격차가 존재하며(예: 흑인 여성은 과소진단됨), 탈편향 후에도 여전히 지속된다.
• 방사의학 보고서에서 자동 생성된 '발견 없음' 레이블의 편향이 성능 격차를 초래하며, 특히 연령이 많은 그룹에서 두드러진다.
• 그룹 간 校정성 오차가 다르며, 고정된 운영 임계값은 임상적 배포 시 불균형한 위험 추정을 초래할 수 있음을 시사한다.
• 복잡한 공정성 알고리즘이 기본적인 데이터 균형 조정을 넘어서 공정성을 향상시키는 증거가 없으며, 데이터 생성 메커니즘 분 析의 중요성을 강조한다.