[論文レビュー] (Un)fairness in Post-operative Complication Prediction Models

Sandhya Tripathi, Bradley A. Fritz+4 more|arXiv (Cornell University)|Nov 3, 2020

Artificial Intelligence in Healthcare and Education参考文献 43被引用数 4

ひとこと要約

本稿は、術後合併症予測モデルにおける公平性を調査し、傾向スコアマッチングと意思決定木に基づくユーティリティ分析を用いたモデルカードに類似したフレームワークを提案して、バイアスの検出と緩和を図る。性別や人種にわたるアルゴリズム的ユーティリティの顕著な格差が判明し、特に急性腎傷害（AKI）予測において顕著である。これは、健康格差の悪化を防ぐために、特定のデータ収集とモデルの透明性が不可欠であることを示唆している。

ABSTRACT

With the current ongoing debate about fairness, explainability and transparency of machine learning models, their application in high-impact clinical decision-making systems must be scrutinized. We consider a real-life example of risk estimation before surgery and investigate the potential for bias or unfairness of a variety of algorithms. Our approach creates transparent documentation of potential bias so that the users can apply the model carefully. We augment a model-card like analysis using propensity scores with a decision-tree based guide for clinicians that would identify predictable shortcomings of the model. In addition to functioning as a guide for users, we propose that it can guide the algorithm development and informatics team to focus on data sources and structures that can address these shortcomings.

研究の動機と目的

• 術後合併症を予測する機械学習モデルにおける公平性および潜在的なバイアスを評価すること。
• 性別や人種などの保護対象特性にわたる不平等な取り扱いの検出を可能にする、透明かつ監査可能なフレームワークを開発すること。
• ユーティリティベースの意思決定ツリーを通じて、臨床医および開発者がデータのギャップやモデルの欠陥を特定するのを支援すること。
• 臨床現場への導入前にアルゴリズムの不平等を診断することで、予期しない健康格差の悪化を防ぐこと。
• サブグループごとの実臨床ユーティリティとモデル性能を結びつけることで、医療分野における公平なAIの促進を図ること。

提案手法

• 著者らは、臨床予測モデルにおける潜在的バイアスを透明に記録できるモデルカードに類似した文書化フレームワークを用いる。
• 感受性属性が暗黙的にエンコードされる可能性のある補助変数を検出・制御するため、傾向スコアマッチングを適用する。
• 意思決定木に基づくユーティリティ分析により、性別、人種、手術種別ごとに、モデル予測から最も多くまたは最も少なく利益を得る患者を特定する。
• サンプル内およびテストサンプルの予測を用いて、各サブグループにおける分類器の性能を比較し、正確性およびユーティリティの格差を検出する。
• 分野の専門家による検証を通じて、重要な臨床的共変数を同定し、性能の差が実臨床的差異かアルゴリズム的バイアスに起因するかを評価する。
• ロジスティック回帰およびランダムフォレスト分類器を用い、モデルの解釈可能性を確保するための最小限のコスト-複雑度のプルーニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 術後合併症予測モデルは、性別および人種グループごとにどのように異なる性能を示すか？
• RQ2 性別や人種といった感受性属性が、明示的に含められていない場合でも、モデルのユーティリティにどの程度影響を及えるか？
• RQ3 傾向スコアマッチングは、臨床予測モデルにおける感受性特徴を暗黙にエンコードする補助変数からの隠れたバイアスを検出できるか？
• RQ4 差別のアルゴリズム的ユーティリティを引き起こす主な臨床的および人口統計的要因は何か？
• RQ5 臨床医および開発者は、ユーティリティベースの意思決定ツリーをどのように活用して、AI駆動の臨床意思決定支援における公平性と透明性を向上させることができるか？

主な発見

• 急性腎傷害（AKI）予測において、性別にわたるモデルの性能格差が顕著に認められ、男性は一貫してモデルからのユーティリティが低かった。
• 人種による格差はやや小さいものの依然として存在しており、Black患者はWhite患者に比べてモデルからのユーティリティの増加が顕著に見られた。
• 意思決定木分析から、性別や人種が特徴として明示的に含まれていなくても、アルゴリズム的ユーティリティの主要な駆動要因であることが判明した。
• 傾向スコアマッチングにより、感受性特性を暗黙にエンコードする可能性のある補助変数が同定され、モデル入力における隠れたバイアスの兆候が示された。
• 性別および人種をベースモデルに含めたにもかかわらず、アルゴリズムはそれらを上位予測因子として選択しなかったため、その影響が他の共変数を通じて媒介されている可能性が示唆された。
• 本研究は、慎重なモデル設計を行っても、特に少数派グループにおいて測定されていないまたは不均衡なデータが残存するため、残留不平等が持続しうることを示している。