[논문 리뷰] Privacy-preserving Federated Bayesian Learning of a Generative Model for Imbalanced Classification of Clinical Data

Seok-Ju Hahn, Junghye Lee|arXiv (Cornell University)|2019. 10. 18.

Bayesian Methods and Mixture Models참고 문헌 95인용 수 7

한 줄 요약

이 논문은 분산된 기관 간의 임계적 데이터에서의 클래스 불균형 문제를 해결하면서도 환자 개인정보를 보호하는 프라이버시 보장형 연합 베이지안 학습 프레임워크인 Federated ABC-GMM을 제안한다. 이 방법은 근사 베이지안 계산(Abc)과 가우시안 혼합 모델(GMM)을 결합하여 소수의 클래스를 오버샘플링한다. 원시 데이터를 공유하지 않고 모델 파라미터의 사후 분포를 추정함으로써, F1 스코어를 크게 향상시켜 PhysioNet2012 ICU 사망 예측 데이터셋에서 거의 최적에 가까운 성능을 달성한다.

ABSTRACT

In clinical research, the lack of events of interest often necessitates imbalanced learning. One approach to resolve this obstacle is data integration or sharing, but due to privacy concerns neither is practical. Therefore, there is an increasing demand for a platform on which an analysis can be performed in a federated environment while maintaining privacy. However, it is quite challenging to develop a federated learning algorithm that can address both privacy-preserving and class imbalanced issues. In this study, we introduce a federated generative model learning platform for generating samples in a data-distributed environment while preserving privacy. We specifically propose approximate Bayesian computation-based Gaussian Mixture Model called 'Federated ABC-GMM', which can oversample data in a minor class by estimating the posterior distribution of model parameters across institutions in a privacy-preserving manner. PhysioNet2012, a dataset for prediction of mortality of patients in an Intensive Care Unit (ICU), was used to verify the performance of the proposed method. Experimental results show that our method boosts classification performance in terms of F1 score up to nearly an ideal situation. It is believed that the proposed method can be a novel alternative to solving class imbalance problems.

연구 동기 및 목표

• 환자 개인정보를 훼손하지 않으면서 임계적 데이터에서의 클래스 불균형 문제를 해결하기 위해.
• 민감한 환자 데이터를 공유하지 않고도 다수의 기관 간에 협업 모델 학습을 가능하게 하기 위해.
• 소수 클래스 오버샘플링을 위한 생성 모델링을 지원하는 연합 학습 프레임워크를 개발하기 위해.
• 근사 베이지안 계산을 활용한 안전한 파라미터 집계를 통해 프라이버시를 유지하기 위해.
• 합성 데이터 생성을 통해 불균형한 임계적 데이터셋에서의 분류 성능을 향상시키기 위해.

제안 방법

• 근사 베이지안 계산(ABC)과 가우시안 혼합 모델(GMM)을 융합한 연합 학습 프레임워크인 Federated ABC-GMM을 제안한다.
• 원시 데이터를 전송하지 않고도 기관 간에 GMM 파라미터의 사후 분포를 추정하기 위해 ABC를 사용한다.
• 각 기관이 자체 개인정보 데이터를 기반으로 로컬 GMM을 학습하고, 파라미터 추론을 위해 요약 통계만을 교환할 수 있도록 한다.
• 순차적 몬테 카를로 방법을 활용하여 프라이버시를 보장하는 방식으로 모델 파라미터의 사후 분포를 근사한다.
• 글로벌 사후 분포에서 합성 샘플을 생성하여 불균형 데이터셋에서 소수 클래스를 효과적으로 오버샘플링한다.
• 생성된 합성 데이터를 사용해 후행 분류기 모델을 훈련함으로써 희귀 사건에 대한 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 연합 학습 프레임워크가 환자 개인정보를 보호하면서도 임계적 데이터에서의 클래스 불균형 문제를 효과적으로 해결할 수 있는가?
• RQ2 연합 ABC-GMM를 통해 훈련된 생성 모델이 불균형한 임계적 데이터셋에서 분류 성능을 얼마나 향상시킬 수 있는가?
• RQ3 의료 기계 학습에서의 중앙집중식 데이터 공유에 대한 의존도가 얼마나 감소하는가?
• RQ4 실제 임계적 데이터에서 비-연합 또는 비-프라이버시 보장 기반 대비 Federated ABC-GMM의 성능은 어떻게 비교되는가?
• RQ5 원시 환자 데이터를暴露하지 않고도 소수 클래스 예측에서 거의 최적의 F1 스코어를 달성할 수 있는가?

주요 결과

• 제안된 Federated ABC-GMM 방법은 PhysioNet2012 ICU 사망 예측 데이터셋에서 F1 스코어를 크게 향상시켜 거의 최적의 성능에 도달한다.
• 이 방법은 기관 간에 원시 임계적 데이터를 공유하지 않으면서도 소수 클래스의 분류 성능 향상을 크게 달성한다.
• 근사 베이지안 계산의 활용이 분산된 기관 간에 프라이버시 보장형 파라미터 추정을 가능하게 한다.
• 연합 GMM를 통해 생성된 합성 샘플은 희귀 사건을 효과적으로 오버샘플링하여 클래스 불균형 문제를 완화한다.
• 이 프레임워크는 데이터 프라이버시를 유지하면서도 다수의 의료 기관 간 협업 모델 학습을 가능하게 한다.
• 실험 결과는 이 방법이 불균형한 임계적 데이터에서 비-연합 및 비-프라이버시 보장 접근 방식보다 F1 스코어 측면에서 뛰어난 성능을 보임을 입증한다.