[論文レビュー] AI in the "Real World": Examining the Impact of AI Deployment in Low-Resource Contexts

Chinasa T. Okolo|arXiv (Cornell University)|Nov 27, 2020

FinTech, Crowdfunding, Digital Finance被引用数 7

ひとこと要約

本論文は、タイの病院で展開されたAI網膜画像診断システムの事例研究を通じて、低資源のグローバルサウスにおけるAI導入の現実的課題を検討し、高水準の訓練データと低資源の臨床環境との不整合がもたらす深刻な失敗を明らかにした。本研究は、搧乱されたコミュニティを主たるステークホルダーとして位置づけ、倫理的・文化的・インfra構造的配慮を重視する包摂的で参加型のAI設計を提唱し、実世界での実現可能性と説明可能性を確保し、被害を防ぐことを目的としている。

ABSTRACT

As AI becomes integrated throughout the world, its potential for impact within low-resource regions around the Global South have grown. AI research labs from tech giants like Microsoft, Google, and IBM have a significant presence in countries such as India, Ghana, and South Africa. The work done by these labs is often motivated by the potential impact it could have on local populations, but the deployment of these tools has not always gone smoothly. This paper presents a case study examining the deployment of AI by large industry labs situated in low-resource contexts, highlights factors impacting unanticipated deployments, and reflects on the state of AI deployment within the Global South, providing suggestions that embrace inclusive design methodologies within AI development that prioritize the needs of marginalized communities and elevate their status not just as beneficiaries of AI systems but as primary stakeholders.

研究の動機と目的

• グローバルサウスにおける低資源医療環境でのAIシステム導入の現実的課題を調査すること。
• 高資源環境で訓練されたデータと低資源の臨床環境との不一致に起因する、AIシステムの予期しない影響を同定すること。
• 搧乱されたコミュニティをAI開発における能動的ステークホルダーとして位置づける参加型設計手法の推進を提唱すること。
• 技術的パフォーマンスを超えて、倫理的・文化的・インfra構造的配慮がAI導入に与える重要性を強調すること。
• 実現可能性・説明可能性・責任性を重視する、低資源環境に適した責任あるAI導入フレームワークの提案すること。

提案手法

• タイの病院に導入されたGoogle AIの糖尿病網膜症スクリーニングシステムを事例研究として、現実世界での統合課題を分析すること。
• 臨床医および患者との協働を通じて、現地の業務フローと制約を理解するため、参加型デザインの原則を適用すること。
• 導入前後における民族学的および実現可能性研究を実施し、環境的・インfra構造的・文化的要因を評価すること。
• 低品質な網膜画像、通信回線の悪さ、熟練した人材の不足によるシステム障害を分析し、導入前の現地状況の不十分な評価と結びつけること。
• 倫理的・文化的・実現可能性・説明可能性の各次元をAI開発フレームワークに統合すること。
• コミュニティ中心の設計を実現し、AI開発における権力の不均衡を軽減するため、植民地的でないAIおよび参加型手法への転換を提言すること。

実験結果

リサーチクエスチョン

• RQ1 低資源環境におけるインfra構造的・臨床的制約は、高品質なデータで訓練されたAIシステムの現実世界でのパフォーマンスにどのように影響するか？
• RQ2 現地のステークホルダーとの十分な参加的関与が欠如した状態でAIを医療分野に導入した場合、どのような予期しない結果が生じるか？
• RQ3 参加型デザインおよび包摂的アプローチは、グローバルサウスにおけるAIシステムの実現可能性・説明可能性・倫理的整合性をどのように向上させ得るか？
• RQ4 文化的要因・言語的要因・リテラシー要因は、低資源コミュニティにおけるAIツールの受容性と使いやすさにどのような役割を果たすか？
• RQ5 研究者および開発者は、事前リスク評価と文脈に即した設計を組み合わせることで、既知の被害をどのように事前に特定・軽減できるか？

主な発見

• AIシステムは、タイの病院で一般的な低品質な網膜画像を処理できず、繰り返し画像撮影が行われ、患者の滞在時間が延長された。
• 誤った陽性診断により、不要なフォローアップ診察が発生し、患者に精神的ストレスと経済的負担が生じた。
• 通信回線の悪さと専用のスクリーニングルームの不在が、システムの使いやすさと臨床業務への統合をさらに妨げた。
• 現地の医療従事者で網膜画像を解釈できる者が不在であったことが、システムの限界を悪化させ、臨床的信頼性を低下させた。
• 導入前の民族学的調査が実施されていなかったため、AIの設計と実際の臨床環境との間に不一致が生じた。
• 本研究は、技術的パフォーマンスのみでは不十分であり、倫理的・文化的・インfra構造的要因が成功した導入に不可欠であることを強調している。