[論文レビュー] Practical Challenges in Differentially-Private Federated Survival Analysis of Medical Data

Shadi Rahimian, Raouf Kerkouche+2 more|arXiv (Cornell University)|Feb 8, 2022

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿では、少数の医療機関からなる現実的で限られたデータ環境において、微分プライバシーを適用したフェデレーテッド生存分析の収束性と性能を向上させるための後処理手法 DPFed-post を提案する。ノイズの多いグローバルモデル更新をクリッピングすることで、標準的な微分プライバシーを適用したフェデレーテッドラーニングと比較して、モデルの有用性を最大で17%向上させる。

ABSTRACT

Survival analysis or time-to-event analysis aims to model and predict the time it takes for an event of interest to happen in a population or an individual. In the medical context this event might be the time of dying, metastasis, recurrence of cancer, etc. Recently, the use of neural networks that are specifically designed for survival analysis has become more popular and an attractive alternative to more traditional methods. In this paper, we take advantage of the inherent properties of neural networks to federate the process of training of these models. This is crucial in the medical domain since data is scarce and collaboration of multiple health centers is essential to make a conclusive decision about the properties of a treatment or a disease. To ensure the privacy of the datasets, it is common to utilize differential privacy on top of federated learning. Differential privacy acts by introducing random noise to different stages of training, thus making it harder for an adversary to extract details about the data. However, in the realistic setting of small medical datasets and only a few data centers, this noise makes it harder for the models to converge. To address this problem, we propose DPFed-post which adds a post-processing stage to the private federated learning scheme. This extra step helps to regulate the magnitude of the noisy average parameter update and easier convergence of the model. For our experiments, we choose 3 real-world datasets in the realistic setting when each health center has only a few hundred records, and we show that DPFed-post successfully increases the performance of the models by an average of up to $17\%$ compared to the standard differentially private federated learning scheme.

研究の動機と目的

• 少数の病院から得られる小規模な医療データセットを用いた生存モデルのフェデレーテッドラーニングにおいて、微分プライバシーを適用した場合の収束性の悪さという課題に対処すること。
• 限られたデータとプライバシー要件という現実的制約下でのフェデレーテッド生存分析の実用的妥当性と性能を評価すること。
• クライアントレベルでの微分プライバシーを適用したフェデレーテッドラーニングにおけるモデル有用性を、グローバル更新のノイズを安定化させる後処理ステップを導入することで向上させること。
• 数え切れないほどの数百件のレコードしか持たないデータセンターで、複数の実世界の医療データセットにおいて一貫した性能向上を示すこと。

提案手法

• クライアントレベルでの微分プライバシーを適用したフェデレーテッドラーニングにおけるグローバルモデル更新を集約した後、その更新の大きさをクリッピングする後処理手法 DPFed-post を提案する。
• クライアントレベルで微分プライバシーを適用し、各病院の全データが、クライアントのサンプリング確率に比例したノイズを注入することで保護されるようにする。
• クリッピングを正則化手法として用い、学習率を制御し、微分プライバシーによる高ノイズ環境下でも学習を安定化させる。
• 標準的なフェデレーテッドラーニングパイプラインに後処理ステップを統合し、集約後のグローバルモデル更新ステップのみを変更する。
• 限られたデータ（1センターあたり数100件）と少数の参加病院を想定した3つの実世界の医療生存分析データセットで、手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 少数の病院から得られる限られたデータで、クライアントレベルでの微分プライバシーがフェデレーテッド生存分析の収束性と性能に与える影響は何か？
• RQ2 ノイズの多いグローバルモデル更新の後処理により、微分プライバシーの保証を損なわずにモデル有用性を向上させることができるか？
• RQ3 DPFed-post は、1センターあたり限られたデータ量の多様な実世界の医療生存データセットにおいて、モデル性能にどのような影響を与えるか？
• RQ4 提案手法は、小規模データのフェデレーテッドラーニング環境において、性能のばらつきを低減し、安定性を向上させるか？

主な発見

• DPFed-post は、複数の実世界の医療データセットにおいて、標準的な微分プライバシーを適用したフェデレーテッドラーニングと比較して、平均で17%の性能向上を達成する。
• この手法は、さまざまな生存モデルやデータセットにおいて、モデル有用性を一貫して向上させるとともに、性能のばらつきを低減する。
• 集約後にノイズの多いグローバル更新をクリッピングすることで、クライアントレベルでの微分プライバシーによる高ノイズ環境下でも学習が安定し、収束を可能にする。
• 標準的な DPFL が収束しない現実的状況（10病院、1センターあたり500～1000件のレコード）においても、本手法は有効である。
• 後処理ステップは、大きな DP ノイズが存在する環境下でも、学習率を効果的に管理するインプリシット正則化の一種として機能する。