[논문 리뷰] Decentralized Differentially Private Segmentation with PATE

Dominik Fay, Jens Sjölund외 1명|arXiv (Cornell University)|2020. 04. 10.

Privacy-Preserving Technologies in Data참고 문헌 9인용 수 4

한 줄 요약

이 논문은 자동에코더를 통한 차원 축소를 통해 비밀성 보장된 집합 학습(Private Aggregation of Teacher Ensembles, PATE)을 사용하는 분산형, 차원 감소된 차별적 비밀성 보장 세분화 프레임워크를 제안한다. 세분화 마스크를 노이즈가 첨가된 집합 평균 이전에 저차원 표현으로 압축함으로써, 동기화된 통신 없이도 비밀성 보장 지식 전이가 가능해졌으며, 고비밀성 조건(ε=125.94, δ=10⁻²)에서도 딱도 스코어 0.785를 기록하여, 동기화되지 않은 피벗드 평균화보다 뛰어난 성능을 보였다. 비밀성 보장된 기준선보다 낮은 성능을 유지하면서도 비밀성 보장을 달성하였다.

ABSTRACT

When it comes to preserving privacy in medical machine learning, two important considerations are (1) keeping data local to the institution and (2) avoiding inference of sensitive information from the trained model. These are often addressed using federated learning and differential privacy, respectively. However, the commonly used Federated Averaging algorithm requires a high degree of synchronization between participating institutions. For this reason, we turn our attention to Private Aggregation of Teacher Ensembles (PATE), where all local models can be trained independently without inter-institutional communication. The purpose of this paper is thus to explore how PATE -- originally designed for classification -- can best be adapted for semantic segmentation. To this end, we build low-dimensional representations of segmentation masks which the student can obtain through low-sensitivity queries to the private aggregator. On the Brain Tumor Segmentation (BraTS 2019) dataset, an Autoencoder-based PATE variant achieves a higher Dice coefficient for the same privacy guarantee than prior work based on noisy Federated Averaging.

연구 동기 및 목표

• 중앙 집중식 데이터 공유 없이 정확하고 비밀성 보장된 의료 영상 세분화 모델을 훈련하는 데 도전한다.
• 다중 기관 환경에서 피벗드 학습의 동기화 병목 현상을 해결한다.
• 원래 분류 작업에 설계된 PATE를 고차원 마스크의 저감도 감소 집합 평균화를 가능하게 함으로써 세분화에 적합하게 변형한다.
• 세분화에서 비밀성 보장 지식 전이를 위한 차원 축소 기법(PCA, DWT, 자동에코더)을 평가하고 비교한다.
• BraTS 2019 데이터셋에서 자동에코더 기반 PATE가 기존의 분산형 비밀성 보장 학습 방법보다 더 나은 유틸리티-비밀성 트레이드오프를 달성함을 보여준다.

제안 방법

• 이 방법은 먼저 각 교사 모델의 세분화 예측 결과를 인코더 함수 $ h_{\text{enc}} $ 를 사용해 저차원 잠재 표현으로 압축하는 비밀성 보장 집합 기반 기반을 사용한다.
• 집합 기반은 $ K $ 명의 모든 교사의 압축 표현 평균을 계산하고, 레니 지수 차별적 비밀성 기준에 따라 스케일링된 평균 제로 정규분포 노이즈를 첨가한다.
• 학생 모델은 압축된 평균 표현에 디코더 함수 $ h_{\text{dec}} $ 를 적용해 재구성된 세분화 마스크를 기반으로 훈련된다.
• 인코더와 디코더는 배치 정규화, ReLU 활성화 함수, 시그모이드 출력을 갖는 U-Net 유사 자동에코더로 구현되며, 테스트 시간 분포를 맞추기 위해 블로킹 지점에 노이즈를 주입해 훈련한다.
• 레니 지수 차별적 비밀성 기반으로 다중 집합 평균화 동안 비밀성 손실을 누적하며, 노이즈 스케일을 최소화하기 위해 최적의 레니 순서 $ \alpha $ 를 선택한다.
• 이 프레임워크는 완전히 분산된 훈련을 가능하게 하며, 교사 모델은 로컬 데이터에서 독립적으로 훈련되고, 집합 기반에 전송되는 것은 압축되고 노이즈가 첨가된 표현 뿐이다.

실험 결과

연구 질문

• RQ1 차원 축소가 고차원 세분화 마스크의 저감도 감소 집합 평균화를 PATE 기반 프레임워크에서 비밀성 보장과 함께 가능하게 할 수 있는가?
• RQ2 PCA, DWT, 자동에코더 중에서 어떤 차원 축소 기법이 세분화에서 재구성 정확도와 비밀성-유틸리티 트레이드오프 측면에서 가장 우수한 성능을 내는가?
• RQ3 유사한 비밀성 보장 조건 하에서 제안된 자동에코더 기반 PATE 방법의 세분화 성능은 노이즈가 첨가된 피벗드 평균화보다 어떻게 다른가?
• RQ4 중간 수준의 기관 수(K)로도 분산 세분화 파이프라인에서 어느 정도의 비밀성 수준(ε)을 달성할 수 있는가?
• RQ5 제안된 방법이 의료 영상 데이터에서 비밀성 보장 모델과 비비밀성 보장 모델 간의 성능 격차를 어느 정도 줄일 수 있는가?

주요 결과

• 자기에코더 기반 PATE 변종은 BraTS 2019 테스트 세트에서 비밀성 예산 ε=125.94, δ=10⁻² 조건 하에 딱도 계수 0.785를 기록했으며, 동일한 비밀성 제약 조건 하에서 노이즈가 첨가된 피벗드 평균화를 뛰어넘었다.
• 자기에코더는 고압축 비율과 노이즈 조건 하에서도 PCA 및 DWT보다 뛰어난 재구성 품질과 노이즈에 대한 강건성을 보였다.
• K≥37개 기관에서 ε≈1의 비밀성 수준을 달성했으며, 이는 중간 수준의 기관 수로도 단일 자릿수 ε 값을 달성할 수 있음을 시사한다.
• 비비밀성 기준선은 딱도 스코어 0.869를 기록했으며, 이는 고비밀성 PATE 조건에서도 여전히 상당한 성능 격차가 존재함을 보여준다.
• 제안된 프레임워크는 동기화 없이도 분산 훈련을 가능하게 하며, 교사 모델은 독립적으로 훈련되고, 전송되는 것은 압축되고 노이즈가 첨가된 표현 뿐이다.