[論文レビュー] Private, fair and accurate: Training large-scale, privacy-preserving AI models in medical imaging

Soroosh Tayebi Arasteh, Alexander Ziller+7 more|arXiv (Cornell University)|Feb 3, 2023

Artificial Intelligence in Healthcare and Education参考文献 57被引用数 12

ひとこと要約

この論文は医療画像モデルのプライバシー保護（差分プライバシー）トレーニングを評価し、胸部X線および3D CT PDACタスクで非プライベート学習と比較して精度と公平性を評価し、実現可能な精度と公平性を見出す一方でいくつかの精度のトレードオフを示す。

ABSTRACT

Artificial intelligence (AI) models are increasingly used in the medical domain. However, as medical data is highly sensitive, special precautions to ensure its protection are required. The gold standard for privacy preservation is the introduction of differential privacy (DP) to model training. Prior work indicates that DP has negative implications on model accuracy and fairness, which are unacceptable in medicine and represent a main barrier to the widespread use of privacy-preserving techniques. In this work, we evaluated the effect of privacy-preserving training of AI models regarding accuracy and fairness compared to non-private training. For this, we used two datasets: (1) A large dataset (N=193,311) of high quality clinical chest radiographs, and (2) a dataset (N=1,625) of 3D abdominal computed tomography (CT) images, with the task of classifying the presence of pancreatic ductal adenocarcinoma (PDAC). Both were retrospectively collected and manually labeled by experienced radiologists. We then compared non-private deep convolutional neural networks (CNNs) and privacy-preserving (DP) models with respect to privacy-utility trade-offs measured as area under the receiver-operator-characteristic curve (AUROC), and privacy-fairness trade-offs, measured as Pearson's r or Statistical Parity Difference. We found that, while the privacy-preserving trainings yielded lower accuracy, they did largely not amplify discrimination against age, sex or co-morbidity. Our study shows that -- under the challenging realistic circumstances of a real-life clinical dataset -- the privacy-preserving training of diagnostic deep learning models is possible with excellent diagnostic accuracy and fairness.

研究の動機と目的

• 機微なデータのため、医療画像AIにおけるプライバシー保護を促進する。
• モデルの精度（AUROC）と公平性指標に対する差分プライバシーの影響を評価する。
• 大規模臨床データセットでプライバシー保護モデルと非プライベートベースラインを比較する。
• 実世界データにおけるプライバシー性能とプライバシー公平性のトレードオフを特徴づける。

提案手法

• 胸部X線193,311例および膵管腔腫瘍PADCをラベル付けした3D腹部CT1,625例の2つのデータセットを使用。
• プライバシー保護（DP）方式と非プライベートベースラインで深層CNNを訓練する。
• AUROCおよび公平性指標（Pearson の r、統計的平等差）で性能を評価する。
• DP 訓練が精度を低下させるか、および人口統計的格差を増幅するかを分析する。
• 現実的な臨床データ条件下で結果を報告する。

実験結果

リサーチクエスチョン

• RQ1 差分プライバシーは大規模な医療画像タスクの診断精度（AUROC）にどのような影響を与えるか？
• RQ2 プライバシー保護訓練は年齢・性別・併存疾患などの要因に対する差別を増幅するのか、緩和するのか？
• RQ3 現実の臨床データセットで、プライバシー保護モデルは公平性と精度を大幅に犠牲にせず実現可能か？

主な発見

• DP 訓練は非プライベートモデルより精度が劣る。
• DP 訓練は年齢、性、併存疾患に対する差別を大きく増幅することはほとんどない。
• 実臨床データセットで、プライバシー保護診断DLモデルが優れた診断精度と公平性を達成できることを示す。