[論文レビュー] Privacy-preserving Federated Bayesian Learning of a Generative Model for Imbalanced Classification of Clinical Data

Seok-Ju Hahn, Junghye Lee|arXiv (Cornell University)|Oct 18, 2019

Bayesian Methods and Mixture Models参考文献 95被引用数 7

ひとこと要約

本稿では、分散型機関間でプライバシーを守りながら、不均衡な臨床データセットにおけるマイノリティクラスのオーバーサンプリングを実現するプライバシー保護型フェデレーテッドベイジアン学習フレームワーク「Federated ABC-GMM」を提案する。この手法は、ガウス・ミックスチャーモデル（GMM）を用いた近似的ベイジアン計算（ABC）を採用し、医療機関間で生データを共有せずにモデルパラメータの事後分布を推定することで、F1スコアを顕著に向上させ、PhysioNet2012 ICU死亡予測データセットにおいてほぼ理想に近い性能に到達する。

ABSTRACT

In clinical research, the lack of events of interest often necessitates imbalanced learning. One approach to resolve this obstacle is data integration or sharing, but due to privacy concerns neither is practical. Therefore, there is an increasing demand for a platform on which an analysis can be performed in a federated environment while maintaining privacy. However, it is quite challenging to develop a federated learning algorithm that can address both privacy-preserving and class imbalanced issues. In this study, we introduce a federated generative model learning platform for generating samples in a data-distributed environment while preserving privacy. We specifically propose approximate Bayesian computation-based Gaussian Mixture Model called 'Federated ABC-GMM', which can oversample data in a minor class by estimating the posterior distribution of model parameters across institutions in a privacy-preserving manner. PhysioNet2012, a dataset for prediction of mortality of patients in an Intensive Care Unit (ICU), was used to verify the performance of the proposed method. Experimental results show that our method boosts classification performance in terms of F1 score up to nearly an ideal situation. It is believed that the proposed method can be a novel alternative to solving class imbalance problems.

研究の動機と目的

• 患者のプライバシーを損なわず、臨床データにおけるクラス不均衡を是正すること。
• 機密な患者データを共有せずに、複数の機関間で共同でモデル学習を可能にすること。
• マイノリティクラスのオーバーサンプリングを支援する生成モデルをサポートするフェデレーテッドラーニングフレームワークを構築すること。
• 近似的ベイジアン計算を用いた安全なパラメータ集約により、プライバシーを維持すること。
• 合成データ生成を用いて不均衡な臨床データセットにおける分類性能を向上させること。

提案手法

• 近似的ベイジアン計算（ABC）とガウス・ミックスチャーモデル（GMM）を組み合わせたフェデレーテッドラーニングフレームワーク「Federated ABC-GMM」を提案する。
• ABCを用いて、生データを送信せずに、複数機関間でGMMパラメータの事後分布を推定する。
• 各機関が自らのプライベートデータ上で局所的なGMMを学習し、パラメータ推定に必要な要約統計量のみを交換可能にする。
• 逐次モンテカルロ法を用いて、プライバシーを守りながらモデルパラメータの事後分布を近似的に推定する。
• グローバル事後分布から合成サンプルを生成し、不均衡なデータセットにおけるマイノリティクラスのオーバーサンプリングを実現する。
• 生成された合成データを用いて下流の分類器を学習し、稀なイベントの分類性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングフレームワークは、患者のプライバシーを守りながら、臨床データにおけるクラス不均衡を効果的に是正できるか？
• RQ2 フェデレーテッドABC-GMMで学習された生成モデルは、不均衡な臨床データセットにおける分類性能をどの程度向上できるか？
• RQ3 本手法は、医療機械学習における中央集権的データ共有への依存度をどの程度低減できるか？
• RQ4 実世界の臨床データにおいて、Federated ABC-GMMの性能は、非フェデレーテッドまたは非プライバシー保護型のベースラインと比較してどうなるか？
• RQ5 生データを暴露せずに、マイノリティクラス予測においてほぼ理想のF1スコアを達成できるか？

主な発見

• 提案されたFederated ABC-GMM手法は、PhysioNet2012 ICU死亡予測データセットにおいてF1スコアを顕著に向上させ、ほぼ理想に近い性能に到達した。
• 本手法は、機関間で臨床データの生データを共有せずに、マイノリティクラスの分類性能を著しく向上させた。
• 近似的ベイジアン計算の活用により、分散型機関間でプライバシー保護型のパラメータ推定が可能になった。
• フェデレーテッドGMMから生成された合成サンプルは、レアイベントのオーバーサンプリングに効果的に寄与し、クラス不均衡の是正に貢献した。
• 本フレームワークは、データのプライバシーを維持しながら、複数の医療機関間での共同モデル学習を可能にした。
• 実験結果から、本手法は、非フェデレーテッドおよび非プライバシー保護型アプローチを上回るF1スコアを、不均衡な臨床データにおいて達成した。