[論文レビュー] Preserving privacy in domain transfer of medical AI models comes at no performance costs: The integral role of differential privacy

Soroosh Tayebi Arasteh, Mahshad Lotfinia+7 more|arXiv (Cornell University)|Jun 10, 2023

Privacy-Preserving Technologies in Data参考文献 33被引用数 4

ひとこと要約

本論文は、医療AIモデルのドメイン転送中に微分プライバシー（DP）を適用しても、高いプライバシー水準（ε ≈ 1）であっても顕著な性能低下を伴わないことを示している。5つの機関から得た59万件を超えるコントロールX線画像を用いて、著者らはDPを強化したドメイン転送が、5つの疾患において非DP手法と同等の診断精度を達成することを示した。特に、ほぼすべてのサブグループでAUC差が1%未塔であった。

ABSTRACT

Developing robust and effective artificial intelligence (AI) models in medicine requires access to large amounts of patient data. The use of AI models solely trained on large multi-institutional datasets can help with this, yet the imperative to ensure data privacy remains, particularly as membership inference risks breaching patient confidentiality. As a proposed remedy, we advocate for the integration of differential privacy (DP). We specifically investigate the performance of models trained with DP as compared to models trained without DP on data from institutions that the model had not seen during its training (i.e., external validation) - the situation that is reflective of the clinical use of AI models. By leveraging more than 590,000 chest radiographs from five institutions, we evaluated the efficacy of DP-enhanced domain transfer (DP-DT) in diagnosing cardiomegaly, pleural effusion, pneumonia, atelectasis, and in identifying healthy subjects. We juxtaposed DP-DT with non-DP-DT and examined diagnostic accuracy and demographic fairness using the area under the receiver operating characteristic curve (AUC) as the main metric, as well as accuracy, sensitivity, and specificity. Our results show that DP-DT, even with exceptionally high privacy levels (epsilon around 1), performs comparably to non-DP-DT (P>0.119 across all domains). Furthermore, DP-DT led to marginal AUC differences - less than 1% - for nearly all subgroups, relative to non-DP-DT. Despite consistent evidence suggesting that DP models induce significant performance degradation for on-domain applications, we show that off-domain performance is almost not affected. Therefore, we ardently advocate for the adoption of DP in training diagnostic medical AI models, given its minimal impact on performance.

研究の動機と目的

• ドメイン転送中に微分プライバシー（DP）を適用することで、医療AIモデルの性能が低下するかどうかを評価すること。
• 多施設医療画像AIモデルにおけるプライバシーと診断精度のトレードオフを評価すること。
• ドメイン外の医療画像分類において、DPがデモグラフィックサブグループにわたる公平性を維持するかを調査すること。
• 高いプライバシー水準（ε ≈ 1）のDP設定が、実世界の展開シナリオにおいて臨床的有用性を維持できるかを特定すること。
• 診断性能に影響を与えることなく、DPを医療AIトレーニングパイプラインに統合するよう提言すること。

提案手法

• 5つの機関から得た59万件を超えるコントロールレントゲン画像の多施設大規模データセットを用いて、ビジョントランスフォーマーに基づくモデルを訓練した。
• プライバシー予算（ε ≈ 1）を慎重に設定したノイズ注入を用いて、ドメイン転送フェーズ中に微分プライバシーを適用した。
• 訓練中に使用しなかった機関のデータを用いた外部検証を実施し、実際の臨床展開を模擬した。
• AUC、正確度、感度、特異度といった標準指標を用いて、心臓肥大、胸水、肺炎、不張、健康な被験者という5つの診断タスクにおけるモデル性能を評価した。
• すべてのタスクおよびデモグラフィックサブグループにおいて、DPを強化したドメイン転送（DP-DT）と非DPドメイン転送（non-DP-DT）を比較した。
• デモグラフィックの公平性を評価するためのサブグループ分析を実施し、プライバシー保護性能が多様な人口集団にわたって一貫しているかを確認した。

実験結果

リサーチクエスチョン

• RQ1 ドメイン転送中に微分プライバシーを適用することで、医療画像AIモデルの診断性能が低下するか？
• RQ2 未観測の機関における外部検証において、DP-DTとnon-DP-DTの性能はどのように比較されるか？
• RQ3 高いプライバシー水準のDP（ε ≈ 1）が、AUC、正確度、感度、特異度に及ぼす影響は、さまざまな診断タスクにおいてどうか？
• RQ4 DP-DTは、non-DP-DTと比較して、デモグラフィックサブグループにわたる公平性を維持するか？
• RQ5 ドメイン外設定において、臨床的有用性を損なうことなく、微分プライバシーを医療AIに効果的に統合できるか？

主な発見

• DP-DTは、5つの診断タスクすべてにおいて、非DP-DTと統計的に区別できないAUC値を達成した（すべての比較でp > 0.119）。
• DP-DTとnon-DP-DTの間の最大AUC差は、ほぼすべてのサブグループおよびタスクで1%未塔であった。
• 高いプライバシー水準のDP設定下でも、任意の診断状態において感度、特異度、正確度に顕著な性能低下は観察されなかった。
• DP-DTはデモグラフィックサブグループにわたって一貫した性能を維持しており、公平性にほとんど影響を与えないことが示された。
• 結果として、微分プライバシーを医療AIに大規模に適用しても、ドメイン外設定における診断正確度に影響を与えないことが実証された。
• 本研究は、プライバシーと性能が医療AIドメイン転送において相容れないとされる考えを覆す実証的証拠を提供しており、臨床AIパイプラインにおけるDPの採用を支援する。