[論文レビュー] A Fully Private Pipeline for Deep Learning on Electronic Health Records

Edward Chou, Thao Nguyen+3 more|arXiv (Cornell University)|Nov 25, 2018

Privacy-Preserving Technologies in Data参考文献 26被引用数 4

ひとこと要約

本論文は、電子的医療記録（EHR）から30日以内の再入院を予測する完全にプライベートなディープラーニングパイプラインを提示する。学習段階では微分プライバシーを、推論段階では同型暗号化を組み合わせたものである。強力なプライバシー保証（$ε=4$, $ै=10^{-5}$）のもとで高い性能（AUC = 0.66、再現率 = 0.60）を達成し、データ標準化と最適化された活性化関数を用いてプライバシーと有効性のトレードオフを緩和した。

ABSTRACT

We introduce an end-to-end private deep learning framework, applied to the task of predicting 30-day readmission from electronic health records. By using differential privacy during training and homomorphic encryption during inference, we demonstrate that our proposed pipeline could maintain high performance while providing robust privacy guarantees against information leak from data transmission or attacks against the model. We also explore several techniques to address the privacy-utility trade-off in deploying neural networks with privacy mechanisms, improving the accuracy of differentially-private training and the computation cost of encrypted operations using ideas from both machine learning and cryptography.

研究の動機と目的

• 医療機械学習における患者データのプライバシー保護という重要な課題に取り組むこと。特に、機微なEHRは再匿名化やモデル逆転攻撃の対象となる危険性がある。
• モデル学習段階と推論段階の両方を保護するエンドツーエンドのプライバシー保護型ディープラーニングフレームワークの開発。
• プライバシー保護メカニズム（微分プライバシー、同型暗号化など）が臨床的ディープラーニング応用に与える性能低下の最小化。
• データ標準化と同型暗号化に適した効率的な活性化関数設計によるプライバシーと有効性のトレードオフの最適化。
• 30日以内の再入院予測という実世界の臨床予測タスクにおいて、完全プライベートなパイプラインの実現可能性と耐障害性の実証。

提案手法

• 学習段階で$(\epsilon, \delta)$-微分プライバシーを保証するために、勾配クリッピングとガウスノイズの注入を施した微分プライベートな確率的勾配降下法（DP-SGD）を採用。
• 勾配L2ノルムの低減を図るため、入力特徴量の標準化を適用。これにより、クリッピングしきい値とノイズ要件が低下し、学習の安定性とプライバシー効率が向上。
• Microsoft SEALを介してFV-RNS同型暗号化方式を用い、EHRデータの暗号化されたまま推論を可能にした。
• 同型暗号化における乗算演算の回数と計算コストを低減するために、係数量子化を施した近似Swishを含むパラメータ化された活性化関数を設計・評価。
• 非線形活性化関数（例：ReLU、シグモイド）の低次多項式近似を用いて、レベル付き同型暗号化との互換性を維持。
• プライバシー予算の過剰使用を防ぎ、形式的なプライバシー保証を確保するため、プライバシー会計師を用いてプライバシー予算を追跡。

実験結果

リサーチクエスチョン

• RQ1 EHRデータの学習および推論段階で強いプライバシー保証を達成できる完全プライベートなディープラーニングパイプラインを構築できるか？
• RQ2 入力特徴量の標準化は、臨床的タスクにおける微分プライベートなディープラーニングにおけるプライバシーコストと学習安定性にどのように影響するか？
• RQ3 異なる活性化関数の近似法は、ニューラルネットワークにおける同型暗号化推論の精度と計算効率にどのような影響を及えるか？
• RQ4 30日以内の再入院予測において、EHRデータに対して最良のプライバシーと有効性のバランスを実現する微分プライバシーの$\epsilon$値は何か？
• RQ5 計算コストが著しく増大するリスクがなく、実世界の臨床的ディープラーニングモデルに同型暗号化を効率的に適用できるか？

主な発見

• EHR特徴量の標準化により、勾配L2ノルムが顕著に低減され、必要なクリッピングしきい値とノイズ量が低下した。これにより、学習の安定性が向上し、プライバシーコストも低減された。
• モデルは$\epsilon=4$, $\delta=10^{-5}$のもとでAUCが0.66、再現率が0.60を達成し、微分プライバシーの下でも高い性能を示した。
• プライバシーと有効性の最良のトレードオフは$\epsilon=4$で達成された。$\epsilon=1$の高ノイズ設定では、学習が早期に停止し、性能も低下した。
• 係数量子化を施した近似Swishが、AUC（0.678）と再現率（0.645）で最高を記録し、ReLU-Sigmoidや二乗活性化関数を上回った。計算コストも低く抑えられた。
• 量子化されたSwish活性化関数により、不要な乗算の回数が削減され、同型暗号化推論の効率が向上し、性能損失は無視できる程度に抑えられた。
• 完全プライベートなパイプラインは、同じデータセットで先行研究（AUC 0.61および0.23）よりも高いAUC（0.63）を達成した。高ノイズ下でも、提案手法のプライバシー保護アプローチの有効性が示された。