[論文レビュー] Stochastic Channel-Based Federated Learning for Medical Data Privacy Preserving

Rulin Shao, Hongyu He+2 more|arXiv (Cornell University)|Oct 23, 2019

Privacy-Preserving Technologies in Data参考文献 31被引用数 9

ひとこと要約

本稿では、スティリスティック・チャネルベースのフェデレーテッドラーニング（SCBF）を提案する。これは、全モデル重みではなく、ノルムの大きさに基づいて最も活動的な勾配チャネルのみを条件付きでアップロードするプライバシー保護型フェデレーテッドラーニング手法であり、データ露出を顕著に削減する。プリーニングを組み合わせたSCBFwP（SCBF with Pruning）は、最小限の性能損失で学習時間の57％を削減し、収束速度を向上させる。AUC-ROCおよびAUCPRの両指標において、フェデレーテッド・アベレージング（Federated Averaging）を上回り、患者データのプライバシーを維持する。

ABSTRACT

Artificial neural network has achieved unprecedented success in the medical domain. This success depends on the availability of massive and representative datasets. However, data collection is often prevented by privacy concerns and people want to take control over their sensitive information during both training and using processes. To address this problem, we propose a privacy-preserving method for the distributed system, Stochastic Channel-Based Federated Learning (SCBF), which enables the participants to train a high-performance model cooperatively without sharing their inputs. Specifically, we design, implement and evaluate a channel-based update algorithm for the central server in a distributed system, which selects the channels with regard to the most active features in a training loop and uploads them as learned information from local datasets. A pruning process is applied to the algorithm based on the validation set, which serves as a model accelerator. In the experiment, our model presents better performances and higher saturating speed than the Federated Averaging method which reveals all the parameters of local models to the server when updating. We also demonstrate that the saturating rate of performance could be promoted by introducing a pruning process. And further improvement could be achieved by tuning the pruning rate. Our experiment shows that 57% of the time is saved by the pruning process with only a reduction of 0.0047 in AUCROC performance and a reduction of 0.0068 in AUCPR.

研究の動機と目的

• 訓練および推論中に生データおよびモデルパラメータの露出を最小限に抑えることで、医療分野におけるフェデレーテッドラーニングにおけるプライバシー漏洩を是正すること。
• アップロードされたモデル更新から感受性の高いデータを再構築可能な逆モデル攻撃のリスクを軽減すること。
• モデル性能を損なわず、フェデレーテッドシステムにおける学習効率を向上させること。
• チャネルベースの勾配選択と統合された新規なプリーニングプロセスにより、収束速度を向上させ、計算オーバーヘッドを低減すること。
• 選択的かつ確率的なチャネルアップロードが、フェデレーテッドラーニングにおいて全パrameter平均化よりも高い性能を達成できることを実証すること。

提案手法

• 全層にわたる勾配チャネルのL2ノルムの大きさに基づき、訓練中に最も顕著な重み更新を示すチャネルを選択してアップロードする。
• α-パーセンタイル閾値を用いた確率的チャネル選択戦略を適用し、最も活動的な特徴のみを共有することを保証する。
• 2種類の勾配処理戦略を採用する：ネガティブ選択（低ノルムチャネルを破棄）とポジティブ選択（非選択チャネルをゼロ化）。
• バリデーションセットの性能を指標として用いるAPoZ（Activation-based Pruning of Zeros）に基づくプリーニングプロセスを導入し、各訓練ループで10％のニューロンを削除する。
• サーバー側のアグリゲーションメカニズムとして、全クライアントからの処理済み勾配を合算し、グローバルモデルを更新することで、ラウンド間でのモデル整合性を維持する。
• モデル効率と性能のバランスを考慮し、全プリーニング率を47％、1ループあたりのプリーニング率を10％にチューニングする。

実験結果

リサーチクエスチョン

• RQ1 選択的アップロードによる高影響度勾配チャネルの送信は、医療分野におけるフェデレーテッドラーニングにおいて、モデル性能を維持しつつプライバシーリスクを低減できるか？
• RQ2 全パrameter平均化（例：フェデレーテッド・アベレージング）と比較して、確率的チャネルベースのアップデートメカニズムは収束速度および最終的な性能においてどのように差がつくか？
• RQ3 ニューラルネットワークのプリーニングは、プライバシー保護型フェデレーテッドラーニングフレームワークにおいて、学習をどの程度加速させ、通信オーバーヘッドを低減できるか？
• RQ4 SCBFフレームワークにプリーニングを適用した場合、学習時間の短縮と性能低下のトレードオフはどの程度か？
• RQ5 モデルパラメータの露出を制限することで、本手法は逆モデル攻撃に対して効果的に耐性を示せるか？

主な発見

• SCBFは、チャネルの10％のみをアップロードしたにもかかわらず、AUC-ROC 0.9776、AUCPR 0.9695を達成し、全パラメータをアップロードするフェデレーテッド・アベレージングを上回った。
• プリーニングを組み合わせたSCBFwPは、AUC-ROC 0.9825、AUCPR 0.9763を達成し、モデル品質においてSCBFおよびFA（Federated Averaging）をすべて上回った。
• プリーニングにより、SCBFの学習時間が57％、FAの学習時間が48％短縮され、計算効率が顕著に向上した。
• わずかな性能低下にもかかわらず、AUCROCの低下はたった0.0047、AUCPRの低下は0.0068にとどまり、速度と正確性のトレードオフが良好であることが示された。
• SCBFはフェデレーテッド・アベレージングよりも早く飽和し、最初の5ラウンドでより高い性能を達成した。収束速度の向上が裏付けられた。
• フェデレーテッド・アベレージングと比較して、情報交換量を85％削減しながら、AUC-ROCおよびAUCPRの両指標で最先端の性能を維持した。