[논문 리뷰] Complex-valued Federated Learning with Differential Privacy and MRI Applications

Anneliese Riess, Alexander Ziller외 4명|arXiv (Cornell University)|2021. 10. 07.

Privacy-Preserving Technologies in Data참고 문헌 52인용 수 6

한 줄 요약

이 논문은 복소수 신경망의 개인정보 보호 학습을 가능하게 하는 복소수 딥러닝을 위한 차별적 프라이버시(DP)의 새로운 확장인 $ζ$-DP를 소개한다. 복소수 정규 기반 메커니즘과 $ζ$-DP-SGD를 제안하며, MRI 재구성 모델이 $ζ$-DP-SGD로 학습할 경우 강력한 프라이버시 보장을 받는 동안 비공개 모델과 거의 동일한 성능을 달성함을 보여준다 ($\varepsilon \approx 0.67$).

ABSTRACT

Federated learning enhanced with Differential Privacy (DP) is a powerful privacy-preserving strategy to protect individuals sharing their sensitive data for processing in fields such as medicine and healthcare. Many medical applications, for example magnetic resonance imaging (MRI), rely on complex-valued signal processing techniques for data acquisition and analysis. However, the appropriate application of DP to complex-valued data is still underexplored. To address this issue, from the theoretical side, we introduce the complex-valued Gaussian mechanism, whose behaviour we characterise in terms of $f$-DP, $(\varepsilon, δ)$-DP and Rényi-DP. Moreover, we generalise the fundamental algorithm DP stochastic gradient descent to complex-valued neural networks and present novel complex-valued neural network primitives compatible with DP. Experimentally, we showcase a proof-of-concept by training federated complex-valued neural networks with DP on a real-world task (MRI pulse sequence classification in $k$-space), yielding excellent utility and privacy. Our results highlight the relevance of combining federated learning with robust privacy-preserving techniques in the MRI context.

연구 동기 및 목표

• 의료 영상 응용 분야(예: MRI)에서 복소수 기반 기계 학습에 대한 개인정보 보호 방법의 부족을 해결한다.
• 차별적 프라이버시(DP)를 복소수 영역으로 확장하여 복소수 신경망에 대한 엄밀한 프라이버시 보장을 가능하게 한다.
• 현대 딥러닝 프레임워크와 프라이버시 회계 기법과 호환되는 복소수 기반 확률적 경사 하강법의 변종인 $\zeta$-DP-SGD를 개발한다.
• 실세계 복소수 기반 작업(예: 심전도 분류, 음성 인식, MRI 재구성)에서의 개인정보 보호 학습의 가능성과 유용성을 입증한다.
• 비공개 및 개인정보 보호 설정 하에서 복소수 활성화 함수와 복소수-MNIST 데이터셋에 대한 벤치마크를 수립한다.

제안 방법

• $(\varepsilon, \delta)$-DP와 Rényi-DP를 복소수 함수로 formularize한 $ζ$-DP를 제안하며, 도메인으로서 복소 평면을 사용한다.
• 기울기의 복소수 노이즈를 복소 정규 분포에서 샘플링하여 추가하는 복소수 정규 기반 메커니즘(CGM)을 도입한다.
• $(\varepsilon, \delta)$-DP와 Rényi-DP를 사용하여 CGM의 프라이버시 성질을 특성화하며, 실수 기반 DP 이론을 복소수 영역으로 일반화한다.
• 표준 DP-SGD 프레임워크에 CGM을 통합하여 $\zeta$-DP-SGD를 설계하며, 학습 중에 복소수 기울기에 대해 노이즈 추가 및 클리핑을 적용한다.
• 다중 스레드 소프트웨어 스택을 사용하여 구현하며, 프라이버시 회계 및 노이즈 캘리브레이션에 주의를 기울였다.
• 복소수 산술과 프라이버시 제약 조건에 맞게 조정된 표준 딥러닝 구성요소(예: 복소수 CNN, ReLU 유사 활성화 함수)를 활용한다.

실험 결과

연구 질문

• RQ1 딥러닝의 복소수 함수 및 기울기에 대해 차별적 프라이버시를 엄밀하게 확장할 수 있는가?
• RQ2 동일 조건에서 실수 기반 DP의 프라이버시 보장을 복소수 정규 기반 메커니즘이 유지하는가?
• RQ3 $\zeta$-DP-SGD는 실세계 작업에서 강력한 프라이버시(예: $\varepsilon < 1$)를 유지하면서도 높은 성능을 보이는 복소수 신경망을 학습할 수 있는가?
• RQ4 $\zeta$-DP-SGD의 성능은 MRI 재구성 및 심전도 분류와 같은 복소수 기반 작업에서 비공개 학습과 비교해 어떻게 되는가?
• RQ5 전문 방사선의가 평가했을 때, DP 학습은 재구성된 MRI 스캔의 진단 품질에 어느 정도 영향을 미치는가?

주요 결과

• 복소수 정규 기반 메커니즘은 $(\varepsilon, \delta)$-DP와 Rényi-DP 모두에서 유효한 프라이버시 보장을 제공하며, 복소수 영역에서 공식적인 프라이버시 회계를 가능하게 한다.
• MRI 재구성 작업에서 $\zeta$-DP-SGD는 정규화된 평균 제곱 오차(NMSE) 0.043과 PSNR 30.57 dB를 달성하였으며, 비공개 모델의 NMSE 0.042와 PSNR 30.74 dB와 거의 동일한 성능를 보였다.
• $\zeta$-DP-SGD의 구조적 유사도 지수(SSIM)는 0.69였고, 비공개 모델의 경우 0.70이었으며, 이미지 품질에 대한 최소한의 열화가 있음을 시사한다.
• 블라인드 평가를 통해 전문 방사선의는 $\zeta$-DP-SGD로 학습된 MRI 재구성 이미지와 비공개 학습 이미지 간에 진단 적합성에서 식별 가능한 차이를 발견하지 못했다.
• 모든 지표에서 비공개 모델과 $\zeta$-DP-SGD 모델 간의 성능 격차는 2% 미만이었으며, 높은 유용성-프라이버시 트레이드오프를 입증했다.
• 복소수 기반 MNIST 변형 및 다양한 복소수 활성화 함수에 대한 벤치마크는 $\zeta$-DP-SGD가 다양한 복소수 기반 아키텍처와 호환되며, 높은 모델 정밀도를 유지함을 보여주었다.