[論文レビュー] Chasing Your Long Tails: Differentially Private Prediction in Health Care Settings

Vinith M. Suriyakumar, Nicolas Papernot+2 more|arXiv (Cornell University)|Oct 13, 2020

Healthcare Policy and Management参考文献 105被引用数 9

ひとこと要約

本稿は、臨床データ（NIH X線およびMIMIC-III EHR）を用いてDP-SGDおよび目的関数の摂動を用いて訓練された、微分プライバシー（DP）機械学習のトレードオフを調査している。プライバシーと性能のトレードオフが顕著であり、データのシフトに対する耐性が低下し、特に高プライバシー設定下で多数派のグループの影響力が増大する。これは、実世界の医療環境における公平性とモデルの安定性を損なう要因となる。

ABSTRACT

Machine learning models in health care are often deployed in settings where it is important to protect patient privacy. In such settings, methods for differentially private (DP) learning provide a general-purpose approach to learn models with privacy guarantees. Modern methods for DP learning ensure privacy through mechanisms that censor information judged as too unique. The resulting privacy-preserving models, therefore, neglect information from the tails of a data distribution, resulting in a loss of accuracy that can disproportionately affect small groups. In this paper, we study the effects of DP learning in health care. We use state-of-the-art methods for DP learning to train privacy-preserving models in clinical prediction tasks, including x-ray classification of images and mortality prediction in time series data. We use these models to perform a comprehensive empirical investigation of the tradeoffs between privacy, utility, robustness to dataset shift, and fairness. Our results highlight lesser-known limitations of methods for DP learning in health care, models that exhibit steep tradeoffs between privacy and utility, and models whose predictions are disproportionately influenced by large demographic groups in the training data. We discuss the costs and benefits of differentially private learning in health care.

研究の動機と目的

• 微分プライバシー（DP）が臨床機械学習におけるモデルの性能、耐性、公平性に与える影響を評価すること。
• データの末尾に存在する少数派のグループが不足していることにより、DP学習がそれらのグループに不利益を及えるかどうかを調査すること。
• 電子歴史記録（EHR）で一般的に見られるデータセットのシフトに対して、DPがモデルの安定性に与える影響を評価すること。
• DPと非DPの設定下で、個々の訓練患者がテスト予測に与える影響を定量化すること。
• 実世界の医療データセットにおけるプライバシーと公平性、プライバシーと耐性のトレードオフを特徴付けること。

提案手法

• NIH Chest X-rayおよびMIMIC-III EHRデータセットを用いて、DP-SGDおよび目的関数の摂動を用いて微分プライバシーのモデルを訓練した。
• 死亡予測、長期入院日数（LOS）予測、血管収縮薬投与開始予測の3つの臨床タスクでモデルのパフォーマンスを評価した。
• 年単位でMIMIC-IIIデータセットを用いてモデルを訓練し、時間経過に伴う性能のばらつきを測定することで耐性を評価した。
• 標準的な指標を用いて公平性を評価した：デモグラフィックグループごとのパフォーマンスギャップ、パラティーションギャップ、再現率ギャップ、特異度ギャップ。
• 影響関数を適用し、非プライベート設定と比較して、個々の訓練患者がテスト予測に与える寄与度を測定した。
• プライバシーのレベルごとに影響パターンを比較し、DPが特定の患者がモデル予測に与える影響を低下させるかどうかを評価した。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシー学習手法は、臨床予測タスクにおけるモデルの精度と性能にどのように影響を与えるか？
• RQ2 微分プライバシーは、縦断的EHRデータにおけるデータセットのシフトに対して、モデルの耐性をどの程度低下させるか？
• RQ3 DP学習は、医療データにおける代表されないデモグラフィックグループの公平性に、どのように影響を与えるか？
• RQ4 微分プライバシーは、個々の訓練患者がテスト予測に与える影響をどのように変化させるか？
• RQ5 プライバシーのレベルと、モデル予測における影響力を持つ訓練患者のパーソナライズ化の関係は何か？

主な発見

• MIMIC-III EHRデータ上でのDPモデルは、中程度のプライバシー予算であっても顕著なプライバシーと性能のトレードオフを示し、顕著な精度の低下を認めた。
• 高プライバシー設定下では、死亡予測およびLOS予測タスクにおいて、年単位のデータシフトに対してモデルの安定性が向上しており、概念的およびデータ分布のシフトに対する耐性が向上している可能性を示唆している。
• 影響関数の分析から、高プライバシー設定下では、最も役立つおよび最も有害な訓練患者が個々のテスト患者に特化した影響を持つようになり、特定の患者の影響力が低下した。
• 共通して最も影響力のある訓練患者の頻度は、非プライベートモデルの25％から高プライバシー設定下では7％に低下し、グローバルな影響力の低下とパーソナライズ化の増大を示している。
• 白人など大多数の民族的グループは、高プライバシー設定下で顕著に影響力が増大しており、DPがグループレベルのバイアスを強化することで公平性の問題を悪化させる可能性がある。
• 死亡予測タスクにおいて、高プライバシー設定のモデルは年単位で一定の影響を維持していたが、非プライベートモデルは高いばらつきを示しており、DPが非定常状態下での安定性を向上させていることを示している。