[论文解读] AI in the "Real World": Examining the Impact of AI Deployment in Low-Resource Contexts

Chinasa T. Okolo|arXiv (Cornell University)|Nov 27, 2020

FinTech, Crowdfunding, Digital Finance被引用 7

一句话总结

本文通過泰國一項人工智慧視網膜影像系統的案例研究，探討人工智慧在低資源全球南方情境下的部署，揭示因未能適應當地臨床條件而導致的關鍵失敗。研究主張應採用包容性、參與式的人工智慧設計，將邊緣化社群視為核心利益相關者，強調在現實場景中預防傷害、確保可行性與可解釋性的倫理、文化與基礎設施回應。

ABSTRACT

As AI becomes integrated throughout the world, its potential for impact within low-resource regions around the Global South have grown. AI research labs from tech giants like Microsoft, Google, and IBM have a significant presence in countries such as India, Ghana, and South Africa. The work done by these labs is often motivated by the potential impact it could have on local populations, but the deployment of these tools has not always gone smoothly. This paper presents a case study examining the deployment of AI by large industry labs situated in low-resource contexts, highlights factors impacting unanticipated deployments, and reflects on the state of AI deployment within the Global South, providing suggestions that embrace inclusive design methodologies within AI development that prioritize the needs of marginalized communities and elevate their status not just as beneficiaries of AI systems but as primary stakeholders.

研究动机与目标

• 探討在低資源全球南方醫療環境中部署人工智慧系統所面臨的現實挑戰。
• 識別因高資源訓練資料與低資源臨床環境之間的不匹配，所導致的人工智慧系統未預期影響。
• 提倡將邊緣化社群提升為人工智慧開發中積極利益相關者的參與式設計方法。
• 強調在技術表現之外，倫理、文化與基礎設施考量在人工智慧部署中的重要性。
• 提出一個強調可行性、可解釋性與責任制的責任型人工智慧部署框架，適用於低資源情境。

提出的方法

• 針對谷歌人工智慧的糖尿病性視網膜病變檢測系統在泰國診所的部署，進行案例研究，以分析現實世界整合挑戰。
• 透過讓臨床醫生與患者參與，應用參與式設計原則，理解當地工作流程與限制。
• 在部署前後執行民族誌與可行性研究，以評估環境、基礎設施與文化因素。
• 分析因低品質眼底影像、網路連線不良與缺乏受訓人員所導致的系統失敗，並連結至部署前情境評估不足。
• 將倫理、文化、可行性與可解釋性等關切面向整合至人工智慧開發框架中。
• 主張轉向去殖民化人工智慧與參與式方法，以確保以社區為中心的設計，並減少人工智慧開發中的權力失衡。

实验结果

研究问题

• RQ1 低資源環境中的基礎設施與臨床限制，如何影響在高品質資料上訓練的人工智慧系統之現實表現？
• RQ2 在缺乏與當地利益相關者充分參與的情況下部署人工智慧於醫療情境，會產生哪些未預期後果？
• RQ3 如何透過參與式設計與包容性方法，提升人工智慧系統在Global South的可行性、可解釋性與倫理一致性？
• RQ4 文化、語言與識字因素在低資源社群對人工智慧工具的接受度與可用性中扮演何種角色？
• RQ5 研究人員與開發者如何透過主動風險評估與基於文獻的設計，更好地預測與減輕人工智慧部署中的已知危害？

主要发现

• 人工智慧系統無法處理泰國診所常見的低品質眼底影像，導致重複拍攝與患者就診時間延長。
• 錯誤陽性診斷導致患者因不必要的追蹤就診而產生情緒壓力與財務負擔。
• 網路連線不良與缺乏專用篩檢空間進一步妨礙系統的可用性與臨床工作流程整合。
• 缺乏具備解讀眼底影像能力的本地醫療人員，加劇了系統的限制，並降低臨床信任度。
• 部署前未進行民族誌研究，導致人工智慧設計與實際臨床環境之間出現錯配。
• 本研究強調技術表現本身不夠充分——倫理、文化與基礎設施因素對成功部署至關重要。