[논문 리뷰] Advancing Community Engaged Approaches to Identifying Structural Drivers of Racial Bias in Health Diagnostic Algorithms

Jill Kuhlberg, Irene Headen외 2명|arXiv (Cornell University)|2023. 05. 22.

Health Policy Implementation Science인용 수 5

한 줄 요약

이 논문은 참가자 중심의 시스템 다이내믹스(CBSD) 접근법을 제안하여 건강 진단 AI 알고리즘에서의 인종적 편향의 구조적 원인을 규명한다. 참가자 중심의 모델링을 통해 삶의 경험과 역사적 트라우마를 중심에 두며, 가상의 모델 구축 과정에서 Black 및 Brown 공동체의 참여를 유도하였다. 그 결과, 체계적 불신과 데이터 불평등이 알고리즘의 공정성을 제한하는 내재된 피드백 구조임을 규명하였으며, 알고리즘 개선만으로는 역사적 불공정성에 뿌리를 둔 체계적 불평등을 극복할 수 없음을 입증하였다.

ABSTRACT

Much attention and concern has been raised recently about bias and the use of machine learning algorithms in healthcare, especially as it relates to perpetuating racial discrimination and health disparities. Following an initial system dynamics workshop at the Data for Black Lives II conference hosted at MIT in January of 2019, a group of conference participants interested in building capabilities to use system dynamics to understand complex societal issues convened monthly to explore issues related to racial bias in AI and implications for health disparities through qualitative and simulation modeling. In this paper we present results and insights from the modeling process and highlight the importance of centering the discussion of data and healthcare on people and their experiences with healthcare and science, and recognizing the societal context where the algorithm is operating. Collective memory of community trauma, through deaths attributed to poor healthcare, and negative experiences with healthcare are endogenous drivers of seeking treatment and experiencing effective care, which impact the availability and quality of data for algorithms. These drivers have drastically disparate initial conditions for different racial groups and point to limited impact of focusing solely on improving diagnostic algorithms for achieving better health outcomes for some groups.

연구 동기 및 목표

• AI 기반 의료 진단의 인종적 편향에 대한 우려가 증가하는 데 대응하기 위해, 특히 역사적 불공정성이 데이터 가용성과 알고리즘 결과에 어떻게 영향을 미치는지 규명하는 것.
• 커뮤니티의 목소리와 삶의 경험을 중심에 두고 편향의 구조적 원인을 모델링하는 參여적 시스템 다이내믹스 프레임워크를 개발하는 것.
• 알고리즘 개선만으로는 부족하며, 역사적 트라우마와 체계적 불신과 같은 내재된 피드백을 해결하지 않으면서도 구조적 불평등을 해소할 수 없다는 것을 입증하는 것.
• 지속 가능한 공동체 주도의 행동을 가능하게 하기 위해 시스템 사고 및 모델링 능력을 공동체에 구축하는 것.
• 복잡한 사회적 문제에 대해 가상의 공동체 기반 모델링이 건강 AI 분야에서 가능한지와 그 영향을 탐색하는 것.

제안 방법

• Black 및 Brown 참여자들과 facilitator들이 월 1회 가상의 공동체 회의를 개최하여, 건강 AI에서의 인종적 편향에 대한 시스템 다이내믹스 모델을 공동 개발하였다.
• 질적 원인-결과 다이어그램과 반복적 실시간 시뮬레이션 모델링을 사용하여 데이터 수집, 알고리즘 훈련, 역사적 트라우마를 연결하는 피드백 구조를 표현하였다.
• 커뮤니티의 지식을 '정신적 데이터베이스'로 통합하여 모델 구조를 구성함으로써, 삶의 경험과 구조적 불평등을 반영하였다.
• facilitator가 실시간으로 공동 모델을 구축하는 가상의 그룹 모델링 방식을 활용하여, 신속한 반복과 더 깊은 통찰 생성을 가능하게 하였다.
• 다양한 전문성을 지닌 facilitator들이 커뮤니티의 통찰에 따라 속도 방정정식, 재고, 初기 파라미터를 정교화하였다.
• 하이브리드 모델 빌딩 프로세스를 적용: 커뮤니티 콜을 통해 입력과 검증을 받고, 이후 전문가가 이끄는 가상 모델링 세션을 통해 기술적 개발을 수행하였다.

실험 결과

연구 질문

• RQ1 의료 분야에서의 인종 차별 경험의 역사적 및 지속적인 영향이 AI 훈련을 위한 데이터의 가용성과 질에 어떻게 작용하는가?
• RQ2 의료 및 데이터 시스템 내의 피드백 구조 중 어떤 것이 진단 AI 알고리즘에서의 인종적 격차를 지속시킬까?
• RQ3 커뮤니티 기반 시스템 다이내믹스 모델링이 알고리즘적 해결책을 넘어서 편향의 구조적 원인을 이해하는 데 얼마나 기여할 수 있는가?
• RQ4 가상의 참여적 모델링 과정은 알고리즘 불평등에 대응하기 위해 지속 가능한 공동체 역량을 어떻게 구축할 수 있는가?
• RQ5 공동체 트라우마와 불신의 집단 기억이 데이터 수집과 알고리즘 성능에 어떤 역할을 하는가?

주요 결과

• 공동체 트라우마와 부정적인 의료 경험에 대한 집단 기억은 내재된 피드백으로 작용하여, 소수자 인종 집단의 신뢰를 저하시키고 데이터 수집을 지연시킨다.
• 모델은 데이터 가용성 격차가 기술적 격과만 관련된 것이 아니라, 시스템 내에 내재된 역사적 및 구조적 불평등에 의해 강화된다는 것을 드러냈다.
• 가상의 공동체 모델링 세션은 구조화된 90분 형식과 facilitator 주도의 요약 덕분에 참석률이 낮더라도 의미 있는 참여와 깊이 있는 통찰을 가능하게 하였다.
• 콜 사이에 facilitator가 실시간으로 공동으로 모델을 구축함으로써 반복 속도가 빨라지고 모델 및 그 결과에 대한 소유감이 강화되었다.
• 이 접근법은 단지 진단 알고리즘을 개선하는 것만으로는 인종 격차를 줄이는데 부족하며, 신뢰와 데이터 불평등과 같은 구조적 장벽이 지속된다는 것을 입증하였다.
• CBSD를 통한 공동체 참여는 모델의 타당성을 높일 뿐 아니라, 영향을 받는 공동체 내에서 지속 가능한 시스템 사고 역량을 구축하는 데에도 기여하였다.