[論文レビュー] Privacy-preserving Machine Learning for Medical Image Classification

Shreyansh Singh, K.K. Shukla|arXiv (Cornell University)|Aug 29, 2021

Privacy-Preserving Technologies in Data参考文献 27被引用数 4

ひとこと要約

本論文は、プライバシー保護型機械学習フレームワークを提案し、暗号化された胸部レントゲン画像を用いた肺炎検出のための安全なマルチパーティ計算（SMPC）と微分プライバシー（DP）を活用する。VGG16モデルは前処理を施した場合に96.41%の精度を達成し、平均プーリングを用いた場合は85.2%であった。DPを適用すると精度が約10–13%低下し、プライバシーとパフォーマンスのトレードオフが確認された。

ABSTRACT

With the rising use of Machine Learning (ML) and Deep Learning (DL) in various industries, the medical industry is also not far behind. A very simple yet extremely important use case of ML in this industry is for image classification. This is important for doctors to help them detect certain diseases timely, thereby acting as an aid to reduce chances of human judgement error. However, when using automated systems like these, there is a privacy concern as well. Attackers should not be able to get access to the medical records and images of the patients. It is also required that the model be secure, and that the data that is sent to the model and the predictions that are received both should not be revealed to the model in clear text. In this study, we aim to solve these problems in the context of a medical image classification problem of detection of pneumonia by examining chest x-ray images.

研究の動機と目的

• 患者のデータとモデルの予測結果が機密に保たれる必要がある医療画像分類におけるプライバシーリスクに対処すること。
• 安全なマルチパーティ計算（SMPC）を実装し、生データや予測結果が露呈されないままモデル推論を可能にすること。
• モデル学習に微分プライバシー（DP）を統合し、メンバー識別攻撃を制限し、個々の患者データを保護すること。
• 暗号化および正則化技術の異なる設定下でのモデル精度とプライバシーのトレードオフを評価すること。
• 肺炎検出にとどまらず、他の応用にも適用可能なスケーラブルなプライバシー保護型パイプラインの開発

提案手法

• 予測プロセス中、モデルとデータが常に暗号化された状態を保つために、TensorFlow Encrypted（TFE）を用いてSMPCベースの推論を実装した。
• 2種類のデータ前処理手法を用いた：1つは正規化とデータ拡張を含み、もう1つは最小最大スケーリングと追加の拡張を含め、モデルの汎化性能を向上させた。
• SMPC暗号化データを用いて深層ニューラルネットワーク（DNN）およびVGG16モデルを学習し、検証精度を最適化するためにモデルチェックポイントと早期停止を適用した。
• 勾配にノイズを注入することで学習中に微分プライバシーを適用し、情報漏洩を制御するためのプライバシー予算（ε）を設定した。
• 複数のエポックにわたり、暗号化済みおよびDP学習済み設定下での精度、交差エントロピー損失、学習ダイナミクスを評価した。
• TFEでサポートされていないレイヤー（例：バッチ正則化やドロップアウト）を避けるために、Kerasベースのモデルを用い、互換性のあるレイヤーを採用した。

実験結果

リサーチクエスチョン

• RQ1 安全なマルチパーティ計算は、生データやモデル出力を露呈させることなく、医療画像におけるプライバシー保護型推論を可能にするか？
• RQ2 微分プライバシーは、医療画像分類における深層学習モデルの精度と一般化性能にどのように影響を与えるか？
• RQ3 プライバシー保護環境下でのモデル性能に、異なるデータ前処理戦略が与える影響は何か？
• RQ4 モデルアーキテクチャおよびプーリング方式（平均プール対最大プール）は、暗号化およびDP環境下での精度と耐性にどのように影響を与えるか？
• RQ5 リアルタイム医療診断に向けた暗号化された深層学習モデルのデプロイにおけるパフォーマンスボトルネックは何か？

主な発見

• 2番目の前処理手法を用いて学習されたVGG16-2モデルが、96.41%の最高精度を達成し、他のモデルを上回った。
• DNN-Maxモデルは0.29の交差エントロピー損失を達成し、87.33%の精度を示し、DNN-Av（85.2%の精度、0.33の損失）を上回った。
• 微分プライバシーを用いた学習により、モデル精度が約10–13%低下し、特にDNNモデルで最大13%の低下が観察された。VGG16モデルでは10–11%の低下が見られた。
• DPを適用したVGG16-2モデルは84.89%の精度を達成し、期待されるプライバシーとパフォーマンスのトレードオフが確認された。
• TF Encryptedを用いたSMPCベースの推論は、特にVGG16のような深層モデルでは顕著な遅延を引き起こし、リアルタイムデプロイが困難であることが判明した。
• TF Encryptedはバッチ正則化やドロップアウトなどの高度なKerasレイヤーに対応できず、モデルの単純化またはカスタム実装が求められた。