[論文レビュー] Advancing Community Engaged Approaches to Identifying Structural Drivers of Racial Bias in Health Diagnostic Algorithms

Jill Kuhlberg, Irene Headen+2 more|arXiv (Cornell University)|May 22, 2023

Health Policy Implementation Science被引用数 5

ひとこと要約

本論文は、参加型モデリングを通じて生じた経験と歴史的トラウマを重視することで、健康診断AIアルゴリズムにおける人種的バイアスの構造的要因を特定するためのコミュニティベースのシステムダイナミクス（CBSD）手法を提案する。バーチャルなモデル構築に黒人・ラテン系コミュニティが参加することで、制度的不信とデータ格差がアルゴリズムの公平性を制限する内部フィードバックとして機能することが明らかになった。これは、単にアルゴリズムを改善するのでは、歴史的不正に根ざした構造的不平等を克服できないことを示している。

ABSTRACT

Much attention and concern has been raised recently about bias and the use of machine learning algorithms in healthcare, especially as it relates to perpetuating racial discrimination and health disparities. Following an initial system dynamics workshop at the Data for Black Lives II conference hosted at MIT in January of 2019, a group of conference participants interested in building capabilities to use system dynamics to understand complex societal issues convened monthly to explore issues related to racial bias in AI and implications for health disparities through qualitative and simulation modeling. In this paper we present results and insights from the modeling process and highlight the importance of centering the discussion of data and healthcare on people and their experiences with healthcare and science, and recognizing the societal context where the algorithm is operating. Collective memory of community trauma, through deaths attributed to poor healthcare, and negative experiences with healthcare are endogenous drivers of seeking treatment and experiencing effective care, which impact the availability and quality of data for algorithms. These drivers have drastically disparate initial conditions for different racial groups and point to limited impact of focusing solely on improving diagnostic algorithms for achieving better health outcomes for some groups.

研究の動機と目的

• AI駆動の医療診断分野における人種的バイアスの増加する懸念に応えるため、とくに歴史的不正がデータの可用性とアルゴリズムの成果にどのように影響するかを明らかにすること。
• コミュニティの声と生の経験をモデル化の中心に据える参加型システムダイナミクスフレームワークを開発すること。
• アルゴリズムの改善だけでは不十分であり、歴史的トラウマや制度的不信といった内部フィードバックを是正しなければ、構造的不平等を是正できないことを示すこと。
• 持続可能なコミュニティ主導の行動を可能にするために、コミュニティにおけるシステム的思考とモデリングの能力を育成すること。
• 健康AI分野における複雑な社会的問題に対して、バーチャルでコミュニティベースのモデリングが実施可能で効果的であるかを検証すること。

提案手法

• 黒人・ラテン系参加者とファシリテーターが月1回参加するバーチャルコミュニティ会議を実施し、人種的バイアスのシステムダイナミクスモデルを共同で開発した。
• 定性的な要因ループ図と反復的・リアルタイムのシミュレーションモデリングを用いて、データ収集、アルゴリズム学習、歴史的トラウマを結ぶフィードバック構造を表現した。
• コミュニティの知識を「メンタルデータベース」として統合し、モデル構造に生の経験と構造的不平等を反映させた。
• ファシリテーターが共同でリアルタイムにモデルを構築するバーチャルグループモデリングを採用し、迅速な反復とより深い洞察の生成を可能にした。
• ファシリテーターの多様な専門性を活かし、コミュニティの知見に応じてレート式、ストック、初期パラメータを精緻化した。
• ハイブリッドなモデリングプロセスを採用：コミュニティのフィードバックと検証のための会議を実施し、その後にファシリテートされたバーチャルモデリング会議で技術的開発を進めた。

実験結果

リサーチクエスチョン

• RQ1 医療分野における人種的差別に関する歴史的かつ継続的な経験が、AI学習のためのデータの可用性と質にどのように影響するか？
• RQ2 医療およびデータシステム内に存在するどのフィードバック構造が、診断AIアルゴリズムにおける人種的格差を永続化しているか？
• RQ3 コミュニティベースのシステムダイナミクスモデリングは、アルゴリズム的解決策を超えて、バイアスの構造的要因を理解するのをどの程度向上させるか？
• RQ4 バーチャルで参加型のモデリングプロセスは、アルゴリズム的不平等に対処するための持続可能なコミュニティの能力をどのように構築するか？
• RQ5 コミュニティのトラウマと不信の集団的記憶が、データ収集とアルゴリズムのパフォーマンスに果たす役割は何か？

主な発見

• コミュニティのトラウマと否定的な医療経験の集団的記憶は、信頼を低下させ、マイノリティの人種的グループのデータ収集を遅らせる内部フィードバックとして機能する。
• モデルは、データの可用性の格差が技術的欠陥によるものではないことを明らかにした。むしろ、システムに埋め込まれた歴史的・構造的不平等によって強化されている。
• バーチャルなコミュニティモデリング会議は、参加率が低くても、90分間の構造的フォーマットとファシリテーター主導の要約のおかげで、意味のある参加と深い洞察を可能にした。
• 会議の間のファシリテーターによるリアルタイムでの共同モデル作成により、迅速な反復とモデルおよびその発見に対する強い所有感が生まれた。
• このアプローチは、診断アルゴリズムの改善に注力するだけでは、信頼やデータ格差といった構造的障壁が残り続けるため、人種的格差を是正できないことを示した。
• CBSDを通じたコミュニティ参加は、モデルの妥当性を高めるだけでなく、影響を受けるコミュニティ内に持続可能なシステム的思考の能力を育成した。