[논문 리뷰] Synthetic Learning: Learn From Distributed Asynchronized Discriminator GAN Without Sharing Medical Image Data

Qi Chang, Hui Qu외 5명|arXiv (Cornell University)|2020. 05. 29.

AI in cancer detection인용 수 9

한 줄 요약

이 논문은 원시 의료 영상에 접근하지 않고도 여러 병원의 데이터 분포를 학습할 수 있는 프라이버시 보장형 분산 GAN 프레임워크인 AsynDGAN을 제안한다. 각 기관에 분산된 비동기화 판별기와 함께 중앙 집중형 생성기를 사용하여, 후속 분할 작업을 위한 합성 데이터를 생성함으로써 AsynDGAN은 원본 데이터로 훈련된 모델과 유사한 성능을 달성하면서도 데이터 프라이버시를 보장하고 통신 오버헤드를 줄인다.

ABSTRACT

In this paper, we propose a data privacy-preserving and communication efficient distributed GAN learning framework named Distributed Asynchronized Discriminator GAN (AsynDGAN). Our proposed framework aims to train a central generator learns from distributed discriminator, and use the generated synthetic image solely to train the segmentation model.We validate the proposed framework on the application of health entities learning problem which is known to be privacy sensitive. Our experiments show that our approach: 1) could learn the real image's distribution from multiple datasets without sharing the patient's raw data. 2) is more efficient and requires lower bandwidth than other distributed deep learning methods. 3) achieves higher performance compared to the model trained by one real dataset, and almost the same performance compared to the model trained by all real datasets. 4) has provable guarantees that the generator could learn the distributed distribution in an all important fashion thus is unbiased.

연구 동기 및 목표

• HIPAA와 같은 규정이 환자 스캔의 기관 간 공유를 제한하는 바탕이 되는 의료 AI 분야의 데이터 프라이버시 문제를 해결한다.
• 규제 및 기관적 장벽으로 인해 대규모 중앙집중형 의료 영상 데이터셋의 가용성이 제한되는 문제를 해결한다.
• 원본 데이터를 공유하지 않고도 협업 훈련이 가능한 통신 효율적이고 프라이버시 보장형 프레임워크를 개발한다.
• 다양한 기관의 분산된 프라이빗 데이터셋에서 유도된 합성 데이터만을 사용하여 고성능 의료 영상 분할을 가능하게 한다.
• 생성기가 여러 기관의 전체 데이터 분포를 편향 없이 충실하게 학습할 수 있도록 보장한다.

제안 방법

• 중앙 생성기와 각 의료 기관에 분산된 다수의 판별기를 갖춘 분산 비동기 판별기 GAN(AsynDGAN) 프레임워크를 제안한다.
• 각 판별기는 자체 프라이빗 데이터셋에서 로컬로 작동하며 원시 영상을 전송하지 않고도 중앙 생성기에게 기울기 피드백을 제공한다.
• 비동기 훈련을 통해 통신 지연을 줄이고 분산된 기관 간의 확장성을 향상시킨다.
• 로컬 판별기의 기울기 신호만을 사용하여 모든 기관의 실제 데이터 분포를 모방하는 합성 이미지를 생성하도록 생성기를 훈련한다.
• 훈련된 생성기를 활용해 분할 네트워크와 같은 작업별 모델의 미세조정을 위한 무제한의 합성 이미지를 생성한다.
• 원본 환자 영상이 중앙 생성기에 언제나 접근하거나 저장되지 않도록 하여 프라이버시를 보장하며, 로컬 판별기의 기울기 업데이트에만 의존한다.

실험 결과

연구 질문

• RQ1 원시 영상에 직접 접근하지 않고도 중앙 생성기가 여러 기관의 프라이빗 의료 데이터셋에서 진짜 데이터 분포를 학습할 수 있는가?
• RQ2 AsynDGAN이 생성한 합성 이미지가 모든 실제 데이터로 훈련된 모델과 유사한 분할 성능을 달성할 수 있는가?
• RQ3 AsynDGAN은 단일 기관의 개별 데이터셋으로 훈련된 모델보다 성능이 뛰어나게 되는가?
• RQ4 의료 영상 분야의 다른 분산 학습 방법과 비교해 AsynDGAN은 통신 효율성과 훈련 속도에서 뛰어난가?
• RQ5 AsynDGAN은 생성기가 기관 간 전체 데이터 분포를 편향 없이 대표하는 방식으로 학습할 수 있음을 증명 가능한 보장이 가능한가?

주요 결과

• AsynDGAN은 세포핵 분할 작업에서 0.7930의 Dice 스코어를 기록하여, 단일 기관의 데이터로 훈련된 모델들(예: 전립선 데이터의 0.7704)을 초월하고, 모든 실제 데이터로 훈련된 모델(0.7833)과 유사한 성능을 달성했다.
• AsynDGAN에서 유도된 합성 이미지로 훈련된 모델은 Dice 스코어 0.7930과 AJI 0.5608을 기록했으며, Real-All 기준(0.7833, 0.5608)과 동등한 성능을 보였고, Syn-All(0.7856)보다도 뛰어났다.
• AsynDGAN은 단일 기관의 개별 데이터셋으로 훈련된 모델들, 예를 들어 Real-Subset-breast(Dice: 0.7340) 및 Real-Subset-liver(Dice: 0.7639)보다 뚜렷이 뛰어난 성능을 보였다.
• 원시 데이터 대신 기울기만 전송하기 때문에 다른 분산 딥러닝 방법보다 통신 효율적이며, 더 낮은 대역폭을 요구한다.
• 고품질의 합성 이미지와 경쟁 가능한 후속 작업 성능을 통해 생성기가 여러 기관의 전체 데이터 분포를 충실하고 편향 없는 방식으로 학습하고 있음을 입증했다.
• 원시 영상에 직접 접근하지 않더라도 생성기가 분산된 데이터 분포를 편향 없이 학습할 수 있음을 증명 가능한 보장이 가능하다.