[논문 리뷰] Downstream Fairness Caveats with Synthetic Healthcare Data

Karan Bhanot, Ioana Baldini외 3명|arXiv (Cornell University)|2022. 03. 09.

Health Systems, Economic Evaluations, Quality of Life인용 수 5

한 줄 요약

이 논문은 HealthGAN를 통해 생성된 합성 의료데이터의 공정성과 유용성을 평가하며, 기계학습 모델에서 성별 및 인종 편향에 대해 실재 데이터와 합성 데이터를 비교한다. 합성 데이터는 일반적으로 실재 데이터보다 성능이 열 劣하고 공정성 변화가 예측 불가능하며, 공정성 완화 기법의 효과성도 일관되지 않음을 발견한다. 이는 합성 데이터가 본질적으로 편향이 없지 않으며, 실생활 적용 전에 명시적인 공정성 평가가 필요하다는 것을 시사한다.

ABSTRACT

This paper evaluates synthetically generated healthcare data for biases and investigates the effect of fairness mitigation techniques on utility-fairness. Privacy laws limit access to health data such as Electronic Medical Records (EMRs) to preserve patient privacy. Albeit essential, these laws hinder research reproducibility. Synthetic data is a viable solution that can enable access to data similar to real healthcare data without privacy risks. Healthcare datasets may have biases in which certain protected groups might experience worse outcomes than others. With the real data having biases, the fairness of synthetically generated health data comes into question. In this paper, we evaluate the fairness of models generated on two healthcare datasets for gender and race biases. We generate synthetic versions of the dataset using a Generative Adversarial Network called HealthGAN, and compare the real and synthetic model's balanced accuracy and fairness scores. We find that synthetic data has different fairness properties compared to real data and fairness mitigation techniques perform differently, highlighting that synthetic data is not bias free.

연구 동기 및 목표

• 합성 의료데이터가 기계학습 모델에서 실재 데이터의 공정성과 유용성을 유지하는지 평가하기 위해.
• 공정성 완화 기법이 실재 데이터와 합성 데이터에서 유사하게 작용하는지 조사하기 위해.
• 합성 의료데이터셋에서의 유용성-공정성 트레이드오프를 규명하기 위해.
• 의료 응용 분야에서 명시적인 공정성 평가 없이 합성 데이터를 배포할 경우 발생할 수 있는 위험을 부각하기 위해.

제안 방법

• 두 개의 실재 데이터셋인 심혈관(성별 편향 분석용)과 MIMIC-III(인종 편향 분석용)를 대상으로, GAN 기반 모델인 HealthGAN를 사용해 합성 의료데이터를 생성하였다.
• 랜덤 포레스트 모델을 실재 데이터와 합성 데이터 모두에 대해 훈련하여 균형 정확도와 공정성 지표를 평가하였다.
• 군집 공정성 지표인 동등 기회 차이, 평균 오차 차이, 동등한 기회를 측정하여 공정성 수준을 평가하였다.
• 재균형화, 적대적 탈편향(기법 HPS), 감소 기법의 세 가지 공정성 완화 기법을 적용하여 실재 데이터와 합성 데이터 양쪽에서 그 영향을 평가하였다.
• 균형 정확도와 공정성 점수를 기반으로 실재 데이터와 합성 데이터 간의 모델 성능을 비교하였다.
• 다양한 데이터 유형 간 공정성 완화의 효과성을 평가하기 위해 통계적 유의성 검증을 실시하였다.

실험 결과

연구 질문

• RQ1 기계학습 모델을 훈련시키는 데 사용될 때, 합성 의료데이터가 실재 데이터만큼 공정하고 유용한가?
• RQ2 공정성 완화 기법이 실재 데이터와 합성 데이터에서 동일한 정도의 공정성 향상을 이끌어내는가?
• RQ3 실재 데이터와 합성 의료데이터셋 간의 유용성-공정성 트레이드오프는 어떻게 다를까?
• RQ4 합성 데이터에서의 공정성 완화는 신뢰할 수 있게 편향을 줄이거나, 오히려 예상치 못한 결과를 초래하는가?

주요 결과

• 합성 데이터는 성별 및 인종 편향 평가를 모두 거치며 실재 데이터보다 균형 정확도가 떨어져 유용성이 낮다는 것을 보여주었다.
• 심혈관 데이터셋에서의 성별 편향 분석에서, 합성 데이터는 더 나쁜 공정성 성능을 보였고, 실재 데이터에 존재하지 않는 여성에 대한 편향이 더욱 심해졌다.
• MIMIC-III 데이터셋에서의 인종 편향 분석에서는 일부 사례에서 합성 데이터가 공정성 향상을 보였지만, 결과는 일관되지 않았으며 실재 데이터보다 유의미하게 더 나은 것은 아니었다.
• 공정성 완화 기법은 실재 데이터와 합성 데이터 양쪽에서 공정성을 향상시켰지만, 향상 폭과 통계적 유의성은 합성 데이터에서 일반적으로 낮았다.
• 공정성 완화 적용으로 인해 실재 데이터와 합성 데이터 양쪽에서 균형 정확도가 감소하여, 유용성-공정성 트레이드오프가 확인되었으며, 이는 합성 데이터에서 더 뚜렷하게 나타났다.
• 합성 데이터에서의 일부 공정성 완화 효과는 통계적으로 유의미하지 않아, 신뢰할 수 없는 공정성 향상 효과를 나타내며, 공정성 검증이 철저히 이루어지지 않은 채 합성 데이터를 배포할 경우 위험성이 있음을 시사한다.