[논문 리뷰] FLVoogd: Robust And Privacy Preserving Federated Learning

Yuhang Tian, Rui Wang외 3명|arXiv (Cornell University)|2022. 06. 24.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

FLVoogd는 민감한 데이터 泄露 없이도 안정적으로 Byzantine 공격을 탐지하고 필터링할 수 있는 프라이버시 보장형 분산 학습 프레임워크를 제안한다. 이는 보안 다자간 계산(SMPC)과 DBSCAN 군집화를 활용하여 적응형이고 파rameter-free 방어를 실현하며, 강력한 차별적 프라이버시 보장을 제공한다. 비록 다양한 공격 유형과 비독립 동일 분포(non-IID) 데이터 분포 조건에서도 높은 모델 정확도를 유지한다.

ABSTRACT

In this work, we propose FLVoogd, an updated federated learning method in which servers and clients collaboratively eliminate Byzantine attacks while preserving privacy. In particular, servers use automatic Density-based Spatial Clustering of Applications with Noise (DBSCAN) combined with S2PC to cluster the benign majority without acquiring sensitive personal information. Meanwhile, clients build dual models and perform test-based distance controlling to adjust their local models toward the global one to achieve personalizing. Our framework is automatic and adaptive that servers/clients don't need to tune the parameters during the training. In addition, our framework leverages Secure Multi-party Computation (SMPC) operations, including multiplications, additions, and comparison, where costly operations, like division and square root, are not required. Evaluations are carried out on some conventional datasets from the image classification field. The result shows that FLVoogd can effectively reject malicious uploads in most scenarios; meanwhile, it avoids data leakage from the server-side.

연구 동기 및 목표

• 분산 학습에서 모델 보안과 데이터 프라이버시의 이중적 과제를 해결하며, 특히 비잔틴 공격 및 오염 공격에 대응한다.
• 방어 메커니즘의 수동 하이퍼파라미터 조정이 필요 없도록, 악성 업데이트를 자동으로 적응형으로 필터링할 수 있도록 보장한다.
• 나이드된 연산(예: 나눗셈, 제곱근)을 피하는 SMPC 프로토콜을 사용하여, 클라이언트 및 서버의 프라이버시를 유지하면서 모델 집계를 수행한다.
• 비이상적 데이터 분포(non-IID) 및 다양한 공격 시나리오(예: 레이블 뒤집기, 백도어, 무작위 업로드) 조건에서도 높은 모델 성능을 유지한다.
• 집계 후 $(\epsilon,\delta)$-차별적 프라이버시(DP) 보장을 공식적으로 확보하면서도, 모델 유틸리티나 방어 효과성에 손상을 주지 않는다.

제안 방법

• SMPC를 활용해 모델 업데이트 및 군집화 연산을 안전하게 계산함으로써, 원시 데이터나 모델 파라미터를 드러내지 않는 프라이버시 보장형 집계를 가능하게 한다.
• S2PC를 활용한 자동 DBSCAN 군집화를 통해, 모델 업데이트의 공간 분포를 기반으로 악성 클라이언트를 탐지하고 격리함으로써, 공격 패tern에 대한 사전 지식이 필요 없이 작동한다.
• 클라이언트 측에서 테스트 기반 거리 제어를 사용하는 이중 로컬 모델을 구현하여, 로컬 업데이트를 글로벌 모델과 정렬함으로써 개인화를 가능하게 하면서도 강력한 방어성을 유지한다.
• 나눗셈 및 제곱근과 같은 계산 비용이 큰 연산을 피하고, SMPC 네이티브 연산(덧셈, 곱셈, 비교)만을 활용한다.
• 차별적 프라이버시를 집계 파이프라인에 통합하여, $(\epsilon,\delta)$-DP를 공식적으로 보장함으로써 개인 기여가 보호됨을 보장한다.
• 프레임워크가 적응형이 되도록 설계함: 클라이언트 데이터 분포 및 업데이트 행동에 따라 자동으로 조정되므로, 군집화나 방어 파라미터의 수동 조정이 필요 없다.

실험 결과

연구 질문

• RQ1 프라이버시를 침해하지 않고도 민감한 클라이언트 데이터를暴露하지 않고도 비잔틴 공격을 탐지하고 거부할 수 있는가?
• RQ2 제안된 SMPC 기반 DBSCAN 군집화는 무작위 업로드, 레이블 뒤집기, 백도어 트리거와 같은 다양한 공격 유형에서 악성 업데이트를 얼마나 효과적으로 식별하는가?
• RQ3 비독립 동일 분포(non-IID) 데이터 분포가 방어 메커니즘의 강건성에 어떤 영향을 미치며, 극단적인 데이터 편향 조건에서도 높은 정확도를 유지할 수 있는가?
• RQ4 사전 훈련 또는 악성 업데이트 비율(PDR) 감소가 A6(교차 데이터셋 백도어)와 같은 타겟 공격을 탐지하는 필터의 능력에 어떤 영향을 미치는가?
• RQ5 실제 분산 학습 환경에서 강력한 차별적 프라이버시와 높은 모델 성능을 동시에 확보할 수 있는가?

주요 결과

• FLVoogd는 대부분의 공격 시나리오(A1(무작위), A2(Krum), A3(트리밍 평균), A4(레이블 뒤집기), A5(백도어))에서 악성 업로드를 성공적으로 거부하며, 대부분의 경우 모델 정확도가 90% 이상 유지된다.
• 비이상적 데이터 분포(non-IID 비율 최대 0.6) 조건에서도 강건성을 유지하지만, non-IID 비율이 0.5를 초과하면 업데이트의 방향성 분산 손실로 인해 성능이 저하된다.
• A6(교차 데이터셋 백도어)와 같은 타겟 공격의 경우, non-IID 비율이 0.3를 초과하면 필터가 실패한다. 이는 모델이 비정상적 행동을 편향된 데이터 분포와 구분하지 못하기 때문이다.
• 모델을 약 25% 정확도로 사전 훈련하고, 악성 업데이트 비율(PDR)을 45%에서 30%로 감소시키면 방어 성능이 크게 향상되어, 이른 시점에 비정상 업데이트를 탐지할 수 있다.
• 시스템은 적응형이고 파rameter-free로 작동한다: 수동 조정이 필요 없으며, 데이터 및 업데이트 패턴에 따라 자동으로 조정되므로 사용성과 강건성이 향상된다.
• 덧셈, 곱셈, 비교와 같은 기본 연산만을 사용하는 SMPC는 나눗셈 및 제곱근과 같은 고비용 연산을 피함으로써, 효율적이고 기존 SMPC 프레임워크와의 호환성을 확보한다.