[論文レビュー] Quantifying Health Inequalities Induced by Data and AI Models

Honghan Wu, Minhong Wang+2 more|arXiv (Cornell University)|Apr 24, 2022

Frailty in Older Adults被引用数 4

ひとこと要約

本論文は、AIモデルが医療データに埋め込まれた健康格差を測定するための新規フレームワーク「割当劣化（DA）」を導入する。これは、割当劣化曲線の間の面積を測定することで、AIモデルに起因する健康格差を定量化するものである。その結果、AIモデルは既存の格差を悪化させ、非白人患者は白人患者と比較してリソース配分における格差が最大43.2%まで拡大していることが明らかになった。また、女性はICU環境において最大33%の予後悪化が生じていることが判明した。

ABSTRACT

AI technologies are being increasingly tested and applied in critical environments including healthcare. Without an effective way to detect and mitigate AI induced inequalities, AI might do more harm than good, potentially leading to the widening of underlying inequalities. This paper proposes a generic allocation-deterioration framework for detecting and quantifying AI induced inequality. Specifically, AI induced inequalities are quantified as the area between two allocation-deterioration curves. To assess the framework's performance, experiments were conducted on ten synthetic datasets (N>33,000) generated from HiRID - a real-world Intensive Care Unit (ICU) dataset, showing its ability to accurately detect and quantify inequality proportionally to controlled inequalities. Extensive analyses were carried out to quantify health inequalities (a) embedded in two real-world ICU datasets; (b) induced by AI models trained for two resource allocation scenarios. Results showed that compared to men, women had up to 33% poorer deterioration in markers of prognosis when admitted to HiRID ICUs. All four AI models assessed were shown to induce significant inequalities (2.45% to 43.2%) for non-White compared to White patients. The models exacerbated data embedded inequalities significantly in 3 out of 8 assessments, one of which was >9 times worse. The codebase is at https://github.com/knowlab/DAindex-Framework.

研究の動機と目的

• AI駆動の医療システムにおける健康格差の検出および定量化に向けた技術的ツールの不足に応えること。
• データに埋め込まれた格差およびモデル由来の格差を、一般的に適用可能で視覚化可能かつ定量可能なフレームワークとして開発すること。
• 性別および人種の格差に焦点を当て、合成データおよび実世界のICUデータセットを用いてフレームワークの性能を評価すること。
• AIモデルが臨床意思決定の場面で、意図せず既存の健康格差を拡大する仕組みを解明すること。
• AI実務者による医療AIシステムのバイアスを監査・デバッグ・緩和するための実用的でオープンソースのツールを提供すること。

提案手法

• フレームワークは2つのインデックスを定義する：割当インデックス（AIモデルの出力、例：リスクスコア）と劣化インデックス（予後を示す客観的臨床マーカー）。
• 患者は（割当インデックス、劣化インデックス）の2次元空間上の点として表現され、グループレベルのトレンドを表す回帰曲線がフィッティングされる。
• 健康格差は、2つのデモグラフィックグループ（例：非白人対白人、女性対男性）の劣化曲線の間の面積として定量化される。
• カーネル密度推定における境界バイアスや劣化インデックス計算における離散確率変数の取り扱いといった技術的課題に対処する。
• フレームワークは2つの実世界のICUデータセット（HiRIDおよびMIMIC-III）に適用され、複数の臨床意思決定シナリオでテストされた。
• 患者群間の比較を可能にするために、臨床マーカー（例：最大クレアチニン、正規化済み多疾患数）のスコアを正規化した。

実験結果

リサーチクエスチョン

• RQ1 実世界のICUデータセットに、性別および人種によって生じる健康格差はどの程度埋め込まれているか？
• RQ2 臨床意思決定に用いられるAIモデルは、リソース配分における既存の健康格差をどのように拡大または緩和するか？
• RQ3 割当劣化フレームワークは、データおよびモデル出力における健康格差を効果的かつ正確に定量化できるか？
• RQ4 腎臓手術の予測といった異なる臨床シナリオにおいて、AIモデルが引き起こす格差の大きさはどの程度か？
• RQ5 異なるモデルアーキテクチャ（例：ロジスティック回帰対ランダムフォレスト）は、誘発される健康格差の水準にどのように影響するか？

主な発見

• HiRIDのICUに入院した女性は、男性と比較して予後マーカーの劣化が最大33%顕著に進行しており、性別格差が埋め込まれていることが示された。
• 非白人患者は白人患者と比較して著しく悪い結果を示し、女性では腎機能劣化に35.06%の格差、男性では19.94%の格差が確認された。
• テストされた4つのAIモデルすべてが有意な健康格差を誘発しており、非白人対白人患者では2.45%～43.2%の格差が生じた。
• 8つの評価のうち3つにおいて、AIモデルは既存のデータ内に埋め込まれた格差を悪化させ、1つのケースでは格差が9倍以上に悪化した。
• 割当劣化曲線は、特に腎臓手術予測において、非白人患者が割当インデックス > 0.5 の臨床意思決定領域でより重度の劣化を示していることを明確に示した。
• フレームワークは複数のシナリオにおいて格差を効果的に定量化し、医療AIシステムの監査およびデバッグにおける実用性を示した。