[논문 리뷰] The Risk to Population Health Equity Posed by Automated Decision Systems: A Narrative Review

Mitchell Burger|arXiv (Cornell University)|2020. 01. 18.

Artificial Intelligence in Healthcare and Education인용 수 6

한 줄 요약

이 서사적 리뷰는 의료 및 공중보건 분야의 자동화된 의사결정 시스템(ADS)이 내재된 편향, 투명성 부족, 개인정보 침해로 인해 인구의 건강 불평등을 악화시킬 수 있음을 분석한다. 학술 및 회색 문헌을 바탕으로, 코로나19 패an데믹으로 인해 가속화된 좁은 범위의 인공지능(AI)이 임상 및 공중보건 분야에 급속히 도입되고 있음에도 불구하고, 철저한 규제가 이루어지지 않을 경우 기존의 사회적, 경제적, 건강적 격차가 악화될 수 있음을 주장한다.

ABSTRACT

Artificial intelligence is already ubiquitous, and is increasingly being used to autonomously make ever more consequential decisions. However, there has been relatively little research into the existing and possible consequences for population health equity. A narrative review was undertaken using a hermeneutic approach to explore current and future uses of narrow AI and automated decision systems (ADS) in medicine and public health, issues that have emerged, and implications for equity. Accounts reveal a tremendous expectation on AI to transform medical and public health practices. Prominent demonstrations of AI capability - particularly in diagnostic decision making, risk prediction, and surveillance - are stimulating rapid adoption, spurred by COVID-19. Automated decisions being made have significant consequences for individual and population health and wellbeing. Meanwhile, it is evident that hazards including bias, incontestability, and privacy erosion have emerged in sensitive domains such as criminal justice where narrow AI and ADS are in common use. Reports of issues arising from their use in health are already appearing. As the use of ADS in health expands, it is probable that these hazards will manifest more widely. Bias, incontestability, and privacy erosion give rise to mechanisms by which existing social, economic and health disparities are perpetuated and amplified. Consequently, there is a significant risk that use of ADS in health will exacerbate existing population health inequities. The industrial scale and rapidity with which ADS can be applied heightens the risk to population health equity. It is incumbent on health practitioners and policy makers therefore to explore the potential implications of using ADS, to ensure the use of artificial intelligence promotes population health and equity.

연구 동기 및 목표

• 의료 및 공중보건 맥락에서 자동화된 의사결정 시스템(ADS)이 인구의 건강 평등성에 미치는 위험을 조사하기.
• 의료 분야에서 사용되는 ADS에서 나타나는 기존 및 신규 위험요소—예를 들어 알고리즘 편향, 재검토 불가능성, 개인정보 침해—를 검토하기.
• 정밀의료 및 공중보건 감시 분야에서 ADS 도입의 장기적 영향이 건강 격차에 어떻게 작용할지 평가하기.
• 건강 전문가 및 정책결정자들이 ADS 영향을 사전에 평가하여 공정한 결과를 보장하기 위해 긴급히 책임지는 것이 필요함을 강조하기.
• 기존 불평등을 강화하거나 악화시키지 않도록, 건강 분야에서의 AI 도입에 대한 체계적 심층 검토를 촉구하기.

제안 방법

• 학술 및 회색 문헌을 대상으로 서사적 리뷰를 수행하였으며, 해석과 통합을 위해 허미누틱 접근법을 사용하였다.
• 의료 및 공중보건 분야의 좁은 범위의 인공지능과 자동화된 의사결정 시스템에 초점을 맞추었으며, 진단 도구, 위험 예측 모델, 자금 배분 알고리즘을 포함한다.
• 범죄 사법 및 교육 분야와 같은 고위험 분야의 사례 연구 및 보고서를 분석하여 건강 분야로의 적용이 가능한 위험 요소를 도출하였다.
• ADS가 구조적 편향과 책임성 부족을 통해 건강 불평등을 유지하거나 악화시킬 수 있는 메커니즘을 평가하였다.
• 알고리즘 의사결정 과정에서의 개인정보 침해와 투명성 부족에 관한 증거를 통합하였다.
• 대규모 ADS 도입이 인구 건강에 미치는 사회적 및 윤리적 영향을 평가하기 위해 비판적 시각을 적용하였다.

실험 결과

연구 질문

• RQ1 의료 및 공중보건 분야의 자동화된 의사결정 시스템은 건강 평등성을 어떻게 위협하는가?
• RQ2 의료 맥락에서 ADS에서 나타나는 주요 위험요소—예를 들어 편향, 재검토 불가능성, 개인정보 유출—는 무엇인가?
• RQ3 특히 코로나19 이후, 의료 분야에서 AI의 급속한 도입이 기존의 건강 격차를 어떻게 악화시킬 수 있는가?
• RQ4 알고리즘 의사결정 메커니즘은 사회적, 경제적, 건강적 불평등을 어떻게 재생하거나 악화시킬 수 있는가?
• RQ5 건강 전문가 및 정책결정자는 AI 사용이 인구 건강 평등성을 훼손하지 않고 오히려 증진시키기 위해 어떤 책임을 져야 하는가?

주요 결과

• 의료 및 공중보건 분야에서 자동화된 의사결정 시스템은 질병 탐지, 진단, 치료 계획 수립, 건강 자금 배분에 널리 사용되고 있으며, 개인 및 인구의 건강에 중대한 영향을 미친다.
• 의료 관련 ADS에서 알고리즘 편향과 개인정보 침해 문제는 이미 발생하고 있으며, 이는 범죄 사법 및 교육 분야에서 관찰된 문제와 유사하다.
• 인구 건강 분야에서 ADS의 빠르고 산업 수준의 도입은 체계적 편향으로 인해 기존의 사회적, 경제적, 건강적 격차를 악화시킬 위험이 있다.
• ADS 의사결정의 투명성 부족과 재검토 불가능성은 책임성과 신뢰를 약화시키며, 특히 소외된 인구 집단에서 더욱 심각한 영향을 미친다.
• 글로벌 건강 격차를 줄일 잠재력이 있는 AI는, 규제가 부족한 시스템이 불평등을 강화하거나 심화시킬 위험 때문에 균형을 이룹니다.
• 사전 점검이 이루어지지 않을 경우, 건강 분야에서 ADS의 확대는 특히 정밀 공중보건 및 위험 예측 응용 분야에서 구조적 불평등을 더욱 강화할 가능성이 높다.