[논문 리뷰] AI in the "Real World": Examining the Impact of AI Deployment in Low-Resource Contexts

Chinasa T. Okolo|arXiv (Cornell University)|2020. 11. 27.

FinTech, Crowdfunding, Digital Finance인용 수 7

한 줄 요약

이 논문은 태국의 한 AI 망막 영상 분석 시스템을 사례로 삼아, 저자원적 글로벌 남부 환경에서의 AI 도입을 분석하며, 현지 임상 조건에 적절히 맞추지 못한 결과 심각한 실패가 발생했음을 밝혀낸다. 연구는 소외된 공동체를 주요 이해관계자로 삼는 포괄적이고 참여적인 AI 설계를 주장하며, 실생활 환경에서의 피해 방지와 타당성 및 설명 가능성 확보를 위해 윤리적, 문화적, 인프라적 적응성을 강조한다.

ABSTRACT

As AI becomes integrated throughout the world, its potential for impact within low-resource regions around the Global South have grown. AI research labs from tech giants like Microsoft, Google, and IBM have a significant presence in countries such as India, Ghana, and South Africa. The work done by these labs is often motivated by the potential impact it could have on local populations, but the deployment of these tools has not always gone smoothly. This paper presents a case study examining the deployment of AI by large industry labs situated in low-resource contexts, highlights factors impacting unanticipated deployments, and reflects on the state of AI deployment within the Global South, providing suggestions that embrace inclusive design methodologies within AI development that prioritize the needs of marginalized communities and elevate their status not just as beneficiaries of AI systems but as primary stakeholders.

연구 동기 및 목표

• 저자원적 글로벌 남부 의료 환경에서 AI 시스템을 도입하는 데 직면한 실제 과제를 조사하기 위해.
• 고자원 환경에서의 훈련 데이터와 저자원 임상 환경 간의 불일치로 인해 발생하는 AI 시스템의 뜻하지 않은 영향을 특정하기 위해.
• 소외된 공동체를 AI 개발 과정의 활동적 이해관계자로 높이 올리는 参여적 설계 방법론을 주장하기 위해.
• 기술적 성능을 넘어서 윤리적, 문화적, 인프라적 고려 사항이 AI 도입에 얼마나 중요한지 강조하기 위해.
• 저자원 환경에서의 타당성, 설명 가능성, 책임성에 중점을 두어 유효한 AI 도입 프레임워크를 제안하기 위해.

제안 방법

• 태국의 클리닉에 도입된 Google AI의 당뇨병 망막병변 탐지 시스템을 사례로 삼아 실제 통합 과제를 분석하기 위해.
• 임상의사와 환자를 참여시켜 현지 워크플로우와 제약 조건을 이해하기 위해 参여적 설계 원칙을 적용하기 위해.
• 환경적, 인프라적, 문화적 요인를 평가하기 위해 도입 전·후로 민족지적 및 타당성 연구를 수행하기 위해.
• 저품질 망막 영상, 열악한 연결성, 훈련된 인력 부족으로 인한 시스템 실패를 분석하며, 이는 사전 도입 시 환경 평가 부족과 관련이 있음을 밝혀내기 위해.
• 윤리적, 문화적, 타당성, 설명 가능성 등의 고려 요소를 AI 개발 프레임워크에 통합하기 위해.
• 식민지적 사고 방식을 넘어서는 Decolonial AI와 참여적 방법론으로의 전환을 제안하여 공동체 중심의 설계를 확보하고 AI 개발에서의 권력 불균형을 줄이기 위해.

실험 결과

연구 질문

• RQ1 저자원 환경에서의 인프라적, 임상적 제약은 고품질 데이터로 훈련된 AI 시스템의 실제 성능에 어떻게 영향을 미치는가?
• RQ2 현지 이해관계자들과의 충분한 참여적 참여 없이 의료 분야에 AI를 도입할 경우 발생하는 뜻하지 않은 결과는 무엇인가?
• RQ3 참여적 설계 및 포괄적 방법론은 글로벌 남부에서의 AI 시스템 타당성, 설명 가능성, 윤리적 일치도를 어떻게 향상시킬 수 있는가?
• RQ4 문화적, 언어적, 독해 능력 요소는 저자원 공동체에서 AI 도구의 수용성과 사용 가능성에 어떤 역할을 하는가?
• RQ5 연구자와 개발자는 사전 리스크 평가와 문헌 기반 설계를 통해 기존에 알려진 해로움을 어떻게 더 잘 예측하고 완화할 수 있는가?

주요 결과

• AI 시스템은 태국 클리닉에서 흔한 저품질 망막 영상 처리에 실패하여 반복 촬영과 더 긴 환자 대기 시간을 유발했다.
• 거짓 양성 진단으로 인해 불필요한 추적 진료를 받게 되어 환자에게 정서적 고통과 재정적 부담이 가중되었다.
• 열악한 인터넷 연결성과 전용 스크리닝 실 부족은 시스템의 사용성과 임상 워크플로우에 대한 통합을 더욱 어렵게 했다.
• 현지 의료 인력이 망막 영상 해석에 능숙하지 못함으로써 시스템의 한계가 악화되었고 임상적 신뢰도가 낮아졌다.
• 사전 도입 민족지적 연구가 이루어지지 않아 AI 설계와 실제 임상 환경 간의 불일치가 발생했다.
• 연구는 기술적 성능만으로는 부족하며 윤리적, 문화적, 인프라적 요소가 성공적인 도입을 위해 필수적임을 강조한다.