[논문 리뷰] Robust Aggregation for Adaptive Privacy Preserving Federated Learning in Healthcare

Matei Grama, Maria Musat외 4명|arXiv (Cornell University)|2020. 09. 17.

Privacy-Preserving Technologies in Data참고 문헌 17인용 수 28

한 줄 요약

이 논문은 의료 응용 분야를 위한 비밀유지 페더레이티드 러닝 프레임워크를 제안하며, 적응형 강건한 집계 방법과 함께 차별적 비밀유지(DP)와 k-익명성을 결합한다. Byzantine-강건한 집계 방법들인 AFA 및 MKRUM과 함께 사용된다. AFA가 유해하거나 고장 난 클라이언트를 효과적으로 탐지하고 차단함으로써, 모델 정확도를 유지하면서도 오염 공격 상황에서도 안정적인 성능을 보이며, DP의 영향이 수렴에 거의 미치지 못함을 입증한다.

ABSTRACT

Federated learning (FL) has enabled training models collaboratively from multiple data owning parties without sharing their data. Given the privacy regulations of patient's healthcare data, learning-based systems in healthcare can greatly benefit from privacy-preserving FL approaches. However, typical model aggregation methods in FL are sensitive to local model updates, which may lead to failure in learning a robust and accurate global model. In this work, we implement and evaluate different robust aggregation methods in FL applied to healthcare data. Furthermore, we show that such methods can detect and discard faulty or malicious local clients during training. We run two sets of experiments using two real-world healthcare datasets for training medical diagnosis classification tasks. Each dataset is used to simulate the performance of three different robust FL aggregation strategies when facing different poisoning attacks. The results show that privacy preserving methods can be successfully applied alongside Byzantine-robust aggregation techniques. We observed in particular how using differential privacy (DP) did not significantly impact the final learning convergence of the different aggregation strategies.

연구 동기 및 목표

• 표준 페더레이티드 러닝이 의료 환경에서 악성 또는 고장 난 클라이언트에 취약한 문제를 해결하기 위해.
• 차별적 비밀유지와 k-익명성을 강건한 집계 기법과 융합한 페더레이티드 러닝에서 의료 데이터를 위한 평가를 위해.
• 비밀유지 방법이 오염 공격 상황에서 글로벌 모델의 강건성과 수렴에 미치는 영향을 조사하기 위해.
• 재현 가능한 실험을 위한 통합 오픈소스 프레임워크를 개발하고 공개하기 위해.

제안 방법

• 프레임워크는 중앙 서버와 다수의 클라이언트(병원)로 구성되며, 각 클라이언트는 원시 데이터를 공유하지 않고도 비밀스러운 의료 데이터로 국소 모델을 훈련시킨다.
• 로컬 모델 파라미터는 FedAvg, AFA, MKRUM, COMED와 같은 강건한 방법으로 집계되며, AFA는 모델 유사도에 따라 클라이언트 가중치를 동적으로 조정한다.
• 차별적 비밀유지는 모델 업데이트에 보정된 노이즈를 추가하여 개인 데이터를 보호하기 위해 적용되며, k-익명성은 속성 값을 일반화하여 재식별 위험을 줄인다.
• 오염 공격는 유해하거나 악성 클라이언트를 도입하여 글로벌 모델 학습을 방해하는 방식으로 시뮬레이션된다.
• 실험은 신경망을 사용하여 세 개의 완전 연결 층을 가진 Pima Indians Diabetes 및 Cleveland Heart Disease라는 두 개의 실세계 데이터셋에서 수행된다.
• 모델 성능은 여러 페더레이티드 라운드 동안 정확도와 오류율을 사용하여 평가되며, 훈련 곡선상에서 나쁜 클라이언트 탐지 결과가 표시된다.

실험 결과

연구 질문

• RQ1 차별적 비밀유지는 의료 응용 분야에서 강건한 페더레이티드 집계의 수렴과 정확도에 어떤 영향을 미치는가?
• RQ2 AFA 및 MKRUM과 같은 강건한 집계 방법은 의료 데이터를 사용한 페더레이티드 러닝에서 악성 또는 고장 난 클라이언트를 탐지하고 영향을 완화할 수 있는가?
• RQ3 k-익명성은 오염 공격 상황에서 표준 및 강건한 집계 방법의 강건성을 향상시킬 수 있는가?
• RQ4 다양한 크기와 데이터 분포를 가진 데이터셋 간에 모델 성능과 클라이언트 탐지 방식은 어떻게 달라지는가?

주요 결과

• AFA는 오염 공격 상황에서도 두 데이터셋에서 모두 다른 집계 방법보다 뛰어난 성능을 보이며, 약 9%의 최저 오류율을 기록했고, 악성 및 고장 난 클라이언트를 성공적으로 탐지하고 차단했다.
• 차별적 비밀유지는 모델 수렴에 거의 영향을 주지 않아, 모든 집계 전략에서 정확도에 심각한 저하가 없었으며, 비밀유지 페더레이티드 러닝과의 호환성을 시사한다.
• k-익명성은 더 큰 당뇨병 데이터셋에서는 강건성을 향상시켰지만, 더 작은 심장병 데이터셋에서는 성능 향상을 이루지 못했으며, 이는 데이터 크기와 분포에 민감할 수 있음을 시사한다.
• MKRUM은 심장병 데이터셋에서 DP 적용 시 수렴에 어려움을 겪었지만, AFA와 COMED는 안정적인 성능을 유지하여, 각 방법이 비밀유지 메커니즘에 대해 고유한 민감성을 가짐을 보여준다.
• 심장병 실험에서 AFA는 악성 클라이언트 2개와 고장 난 클라이언트 1개를 탐지하고 차단했으며, 정상 클라이언트의 희귀한 차단으로 인해 수렴에 미미한 영향을 주었다.
• 구문적 접근 방식(k-익명성)은 결과가 엇갈렸다: 더 큰 데이터셋에서는 효과적이었지만, 더 작은 데이터셋에서는 효과가 없었으며, 이는 데이터 다양성이 감소하고 일반화 노이즈가 증가하기 때문일 것이다.