[논문 리뷰] MixNN: Protection of Federated Learning Against Inference Attacks by Mixing Neural Network Layers

Antoine Boutet, Thomas Lebrun외 2명|arXiv (Cornell University)|2021. 09. 26.

Privacy-Preserving Technologies in Data참고 문헌 44인용 수 4

한 줄 요약

MixNN는 참여자 간의 신경망 레이어를 혼합하여 집계하기 전에 프oxy 기반 프레임워크로, 모델 유틸리티를 훼손하지 않으면서도 개인정보 유출 공격을 방지함으로써 연합 학습의 프라이버시를 향상시킨다. 이는 국소적 차별적 프라이버시보다 강력한 프라이버시 보호를 달성하면서도 표준 연합 학습과 동일한 모델 정확도를 유지한다.

ABSTRACT

Machine Learning (ML) has emerged as a core technology to provide learning models to perform complex tasks. Boosted by Machine Learning as a Service (MLaaS), the number of applications relying on ML capabilities is ever increasing. However, ML models are the source of different privacy violations through passive or active attacks from different entities. In this paper, we present MixNN a proxy-based privacy-preserving system for federated learning to protect the privacy of participants against a curious or malicious aggregation server trying to infer sensitive attributes. MixNN receives the model updates from participants and mixes layers between participants before sending the mixed updates to the aggregation server. This mixing strategy drastically reduces privacy without any trade-off with utility. Indeed, mixing the updates of the model has no impact on the result of the aggregation of the updates computed by the server. We experimentally evaluate MixNN and design a new attribute inference attack, Sim, exploiting the privacy vulnerability of SGD algorithm to quantify privacy leakage in different settings (i.e., the aggregation server can conduct a passive or an active attack). We show that MixNN significantly limits the attribute inference compared to a baseline using noisy gradient (well known to damage the utility) while keeping the same level of utility as classic federated learning.

연구 동기 및 목표

• 악성 또는 호기심 있는 집계 서버가 모델 업데이트에서 민감한 속성을 추론할 수 있는 연합 학습의 프라이버시 누출 문제를 해결한다.
• 기존의 차별적 프라이버시와 달리 모델 유틸리티를 떨어뜨리지 않는 프라이버시 보존 메커니즘을 개발한다.
• 표준 연합 학습의 취약성을 평가하기 위해 새로운 속성 유추 공격 \attackss를 설계한다.
• 신뢰할 수 있는 실행 환경(Intel SGX)을 사용하여 안전하게 모델 업데이트를 격리하고 혼합하는 실용적이고 효율적이며 구현 가능한 솔루션을 제안한다.

제안 방법

• 클라이언트로부터 모델 업데이트를 수신하고, 이를 다양한 참가자 간에 레이어를 혼합한 후 집계 서버에 전달하는 프록시 서버를 도입한다.
• 혼합 과정의 기밀성과 무결성을 보장하기 위해 Intel SGX 에이전트를 사용한다. 이는 측면 채널 공격 및 변조 공격에 대비한다.
• 실행 시간과 메모리 접근 패턴이 일관되도록 데이터 무관 혼합 전략을 적용하여 측면 채널 泄露를 방지한다.
• 모델 집계가 레이어 순서에 대해 불변이므로, 혼합이 최종 글로벌 모델 성능에 영향을 주지 않는다는 점을 활용한다.
• SGD 알고리즘의 기울기를 활용하여 모델 업데이트에서 개인 정보를 추론할 수 있는 새로운 속성 유추 공격 \attackss를 설계한다.
• CIFAR-10에서 두 개의 컨볼루션 레이어와 세 개의 풀 커넥티드 레이어를 가진 모델을 사용하여 MixNN을 구현하고 평가하였으며, 에이전트 내에서 업데이트당 평균 0.19초의 처리 시간과 26.9MB의 메모리 사용량을 기록하였다.

실험 결과

연구 질문

• RQ1 프록시 기반의 레이어 혼합 메커니즘이 모델 유틸리티를 훼손하지 않으면서도 연합 학습에서 속성 유추 공격을 효과적으로 방지할 수 있는가?
• RQ2 SGD 알고리즘을 통한 연합 학습의 프라이버시 누출이 새로운 속성 유추 공격을 가능하게 하는 방식은 무엇이며, 이를 어떻게 정량화할 수 있는가?
• RQ3 MixNN는 최신 기술인 국소적 차별적 프라이버시와 비교해 속성 유추 성공률를 얼마나 감소시키는가?
• RQ4 지연 시간과 메모리 사용량 측면에서 MixNN의 성능 오버헤드는 어느 정도이며, 실세계 구현에 실용적인가?

주요 결과

• MixNN는 국소적 차별적 프라이버시를 사용하는 기준 대비 속성 유추 공격 성공률를 크게 감소시키며, 동시에 표준 연합 학습과 동일한 모델 정확도를 유지한다.
• 제안된 \attackss 공격는 SGD 프로세스의 기울기를 활용하여 모델 업데이트에서 개인 정보를 성공적으로 추론함으로써, 표준 연합 학습의 치명적인 프라이버시 취약성을 입증한다.
• 혼합 작업에 대해 평균 0.03초의 극히 미미한 오버헤드와 업데이트당 총 처리 시간 0.19초(암호 해독 및 저장 포함)를 기록하여 실세계 구현에 실용적임을 입증한다.
• Intel SGX를 통해 강력한 프라이버시 보장을 달성하였으며, 데이터 무관 실행을 통해 측면 채널 누출을 방지하고, 혼합 과정이 모델 구조에 의존하지 않아 광범위한 호환성을 확보한다.
• 레이어 혼합이 모델 집계 결과에 영향을 주지 않기 때문에, 고전적 연합 평균과 동일한 수렴성과 유틸리티를 유지한다.
• 실험 결과 MixNN는 어떤 모델 유틸리티의 희생 없이 국소적 차별적 프라이버시보다 더 나은 프라이버시 보호를 제공함을 보여주어, 프라이버시 보존 연합 학습의 열등한 대안을 초월하는 최적의 대안임을 입증한다.