[논문 리뷰] Robust and Privacy-Preserving Collaborative Learning: A Comprehensive Survey

Shangwei Guo, Xu Zhang외 5명|arXiv (Cornell University)|2021. 12. 19.

Privacy-Preserving Technologies in Data인용 수 9

한 줄 요약

이 종합적 서베이는 공동 학습 시스템, 특히 피어드 페더레이티드 러닝에서 발생하는 보안 및 프라이버시 위협—예를 들어 바르잔틴 공격과 백도어 공격, 데이터 유추 공격—에 대한 체계적인 분석을 제공한다. 강건한 아그리게이션, 차등적 프라이버시, 암호화와 같은 방어 기법을 검토하며, 비IIDs 데이터, 인증된 백도어 방어, 프라이버시-성능 트레이드오프와 같은 열린 과제를 규명한다.

ABSTRACT

With the rapid demand of data and computational resources in deep learning systems, a growing number of algorithms to utilize collaborative machine learning techniques, for example, federated learning, to train a shared deep model across multiple participants. It could effectively take advantage of the resources of each participant and obtain a more powerful learning system. However, integrity and privacy threats in such systems have greatly obstructed the applications of collaborative learning. And a large amount of works have been proposed to maintain the model integrity and mitigate the privacy leakage of training data during the training phase for different collaborative learning systems. Compared with existing surveys that mainly focus on one specific collaborative learning system, this survey aims to provide a systematic and comprehensive review of security and privacy researches in collaborative learning. Our survey first provides the system overview of collaborative learning, followed by a brief introduction of integrity and privacy threats. In an organized way, we then detail the existing integrity and privacy attacks as well as their defenses. We also list some open problems in this area and opensource the related papers on GitHub: https://github.com/csl-cqu/awesome-secure-collebrative-learning-papers.

연구 동기 및 목표

• 단일 프레임워크에 국한된 좁은 초점을 넘어서, 공동 학습 시스템의 무결성과 프라이버시 위협에 대한 통합적이고 종합적인 리뷰를 제공하기 위해.
• 공동 학습에서 바르잔틴 공격, 백도어 공격, 데이터 유추 공격의 근본 원인과 작동 메커니즘을 분석하기 위해.
• 특히 강건한 아그리게이션, 차등적 프라이버시, 암호화를 포함한 기존 방어 전략을 무결성 및 프라이버시 차원에서 평가하기 위해.
• 비IIDs 데이터, 인증된 방어, 프라이버시-성능 트레이드오프와 같은 현재 방어 연구에서의 핵심 열린 문제를 규명하고 명확히 하기 위해.
• 미래 연구를 지원하기 위해 보안 공동 학습 관련 핵심 논문들을 모아 오픈소스 레포지터리로 정리하기 위해 (https://github.com/csl-cqu/awesome-secure-collebrative-learning-papers).

제안 방법

• 서버 기반 및 피어 투 피어 아키텍처로 공동 학습 시스템을 분류하고, 주요 대표 사례로 페더레이티드 러닝을 집중적으로 다룬다.
• 무결성 위협을 바르잔틴 공격(예: 모델 풀링)과 백도어 공격(예: 트리거 기반 데이터 풀링)으로 분류하고, 그 전파 메커니즘을 분석한다.
• 멤버십 유추, 재산 유추, 모델 역행과 같은 프라이버시 위협을 검토하며, 기울기와 모델 업데이트가 데이터를 泄露하는 방식을 강조한다.
• 방어 기법 평가: 무결성에 대한 강건한 아그리게이션(예: Krum, 트리밍드 미디안), 프라이버시에 대한 차등적 프라이버시 및 허모로모픽 암호화.
• 다양한 기법을 조합한 하이브리드 방어 기법 분석, 예를 들어 차등적 프라이버시와 강건한 아그리게이션을 결합하여 강건성을 향상시킨다.
• 위협 모델, 공격 벡터, 방어 대상(모델 대비 데이터)을 기반으로 공격 및 방어 메커니즘의 분류 체계를 제안한다.

실험 결과

연구 질문

• RQ1 바르잔틴 공격과 백도어 공격는 공동 학습에서 모델의 무결성을 어떻게 침해하며, 그들의 상호 구별 특성은 무엇인가?
• RQ2 특히 강건한 아그리게이션과 차등적 프라이버시를 포함한 기존 방어 전략은 현실 조건 하에서 무결성 및 프라이버시 위협을 얼마나 효과적으로 완화하는가?
• RQ3 비IIDs 또는 노이즈가 많은 데이터 환경에서 현재 방어 기법의 주요 제약은 무엇이며, 이는 모델의 강건성에 어떤 영향을 미치는가?
• RQ4 왜 공동 학습 환경에서 인증된 백도어 방어는 여전히 개발이 부족한가? 그 배경에는 어떤 기술적 장벽이 존재하는가?
• RQ5 공동 학습의 시스템 수준 기능을 활용해, 차등적 프라이버시의 프라이버시-성능 트레이드오프를 어떻게 개선할 수 있는가?

주요 결과

• 바르잔틴 공격는 한 명의 악성 참여자만으로도 업데이트가 정상 업데이트와 구별되지 않을 경우 전체 공동 학습 과정을 악영향을 미칠 수 있다.
• 원시 데이터를 공유하지 않더라도 공동 학습에서의 모델 업데이트는 멤버십 및 특징 정보를 泄露할 수 있으며, 기울기에서 기반으로 훈련 샘플을 재구성할 수 있다.
• 기존의 백도어 방어 기법은 대부분 경험적이며 고도로 적응적인 공격에 실패한다. 반면, 보장 가능한 보장을 갖춘 인증된 방어는 공동 환경에서 여전히 흔하지 않다.
• 차등적 프라이버시는 프라이버시를 향상시키지만, 특히 큰 신경망에서 높은 노이즈를 주입함으로써 모델 성능이 떨어지는 경향이 있다.
• 샘플 유추를 방지하기 위해 노이즈를 추가하거나 파라미터를 정제하는 방어 기법은 모델 정확도를 떨어뜨릴 수 있으며, 이는 성능을 유지하면서도 프라이버시를 보존하는 기법의 필요성을 강조한다.
• 비IIDs 데이터, 재산 유추에서의 기초 데이터셋, 확장 가능한 인증된 방어와 같은 열린 문제들은 여전히 탐색이 부족하여 상당한 연구 격차가 존재한다.