[論文レビュー] The Risk to Population Health Equity Posed by Automated Decision Systems: A Narrative Review

Mitchell Burger|arXiv (Cornell University)|Jan 18, 2020

Artificial Intelligence in Healthcare and Education被引用数 6

ひとこと要約

このナラティブレビューは、医療および公衆衛生分野における自動意思決定システム（ADS）が埋め込まれたバイアス、透明性の欠如、プライバシーの損なわれることによって、人口の健康格差を悪化させるリスクを検討している。学術的およびグレイ・リテラチャーを基に、COVID-19パンデミックの影響で加速した臨床および公衆衛生分野における狭義のAIの急速な導入が、適切に管理されなければ、既存の社会的・経済的・健康的格差を拡大するおそれがあると主張している。

ABSTRACT

Artificial intelligence is already ubiquitous, and is increasingly being used to autonomously make ever more consequential decisions. However, there has been relatively little research into the existing and possible consequences for population health equity. A narrative review was undertaken using a hermeneutic approach to explore current and future uses of narrow AI and automated decision systems (ADS) in medicine and public health, issues that have emerged, and implications for equity. Accounts reveal a tremendous expectation on AI to transform medical and public health practices. Prominent demonstrations of AI capability - particularly in diagnostic decision making, risk prediction, and surveillance - are stimulating rapid adoption, spurred by COVID-19. Automated decisions being made have significant consequences for individual and population health and wellbeing. Meanwhile, it is evident that hazards including bias, incontestability, and privacy erosion have emerged in sensitive domains such as criminal justice where narrow AI and ADS are in common use. Reports of issues arising from their use in health are already appearing. As the use of ADS in health expands, it is probable that these hazards will manifest more widely. Bias, incontestability, and privacy erosion give rise to mechanisms by which existing social, economic and health disparities are perpetuated and amplified. Consequently, there is a significant risk that use of ADS in health will exacerbate existing population health inequities. The industrial scale and rapidity with which ADS can be applied heightens the risk to population health equity. It is incumbent on health practitioners and policy makers therefore to explore the potential implications of using ADS, to ensure the use of artificial intelligence promotes population health and equity.

研究の動機と目的

• 医療および公衆衛生の文脈において、自動意思決定システム（ADS）が人口の健康格差に及ぼすリスクを調査すること。
• 医療分野におけるADSで生じる既存および新たな危険要因—例えばアルゴリズムバイアス、反論不能性、プライバシー損なわれること—を検討すること。
• 精密医療および公衆衛生監視分野におけるADSの導入が、健康格差に及ぼす長期的影響を評価すること。
• 健康の専門職および政策立案者が、ADSの影響を前もって評価することで、公平な結果を実現する必要があるという緊急性を強調すること。
• 既存の格差の強化や拡大を防ぐために、医療分野におけるAIの導入を体系的に検証するよう呼びかけること。

提案手法

• 解釈と統合のためのヒルメウティクス的アプローチを用いて、学術的およびグレイ・リテラチャーのナラティブレビューを実施した。
• 診断ツール、リスク予測モデル、資金配分アルゴリズムを含む、医療および公衆衛生分野における狭義の人工知能および自動意思決定システムに焦点を当てた。
• 刑事司法および教育分野などのハイリスク分野の事例研究およびレポートを分析し、健康分野への適用可能なリスクを同定した。
• ADSが健康格差を継続的または拡大させるメカニズム—構造的バイアスや責任の欠如—を評価した。
• アルゴリズム意思決定プロセスにおけるプライバシー損なわれることおよび不透明性に関する証拠を統合した。
• 大規模なADS導入の社会的・倫理的影響を評価するため、批判的視点を用いた。

実験結果

リサーチクエスチョン

• RQ1 医療および公衆衛生分野における自動意思決定システムは、どのように健康格差を損なうリスクを孕んでいるか？
• RQ2 ADSが健康分野で生じる主な危険要因—例えばバイアス、反論不能性、プライバシー損なわれること—は何か？
• RQ3 特にCOVID-19後の段階における医療分野におけるAIの急速な導入は、既存の健康格差をどのように悪化させる可能性があるか？
• RQ4 アルゴリズム意思決定のメカニズムは、どのように社会的・経済的・健康的格差を再現または拡大するか？
• RQ5 健康の専門職および政策立案者が、AIの利用が人口の健康格差を悪化させず、むしろ促進するよう確保するために果たすべき責任は何か？

主な発見

• 医療および公衆衛生分野における自動意思決定システムは、疾患の検出、診断、治療計画、健康資金の配分に急速に広がっており、個々人および人口の健康に大きな影響を与えている。
• 医療関連のADSにおけるアルゴリズムバイアスやプライバシー損なわれることの報告がすでに増加しており、刑事司法および教育分野で見られる問題と類似している。
• 人口の健康分野におけるADSの急速かつ工業的規模での導入は、構造的バイアスのため、既存の社会的・経済的・健康的格差を拡大するリスクをはらんでいる。
• ADS意思決定における透明性の欠如および反論不能性は、とりわけマイノリティコミュニティにおいて、責任の欠如と信頼の損なわれることを招く。
• AIがグローバルな健康格差を是正する可能性がある一方で、適切に管理されないシステムは、格差を固定化または悪化させるリスクをはらんでいる。
• 前もっての監視がなければ、健康分野におけるADSの拡大は、特に精密公衆衛生およびリスク予測アプリケーションにおいて、構造的格差を固定化する可能性が極めて高い。