[논문 리뷰] Secure Byzantine-Robust Machine Learning

Lie He, Sai Praneeth Karimireddy외 1명|arXiv (Cornell University)|2020. 06. 08.

Privacy-Preserving Technologies in Data참고 문헌 45인용 수 39

한 줄 요약

분산 학습에서 입력 프라이버시와 Byzantine-강건성을 달성하는 보안 두 서버 집계 프레임워크를 제안하며, 내결함성과 로컬 차등 프라이버시 및 기존 강건 규칙과의 호환성을 갖춘다.

ABSTRACT

Increasingly machine learning systems are being deployed to edge servers and devices (e.g. mobile phones) and trained in a collaborative manner. Such distributed/federated/decentralized training raises a number of concerns about the robustness, privacy, and security of the procedure. While extensive work has been done in tackling with robustness, privacy, or security individually, their combination has rarely been studied. In this paper, we propose a secure two-server protocol that offers both input privacy and Byzantine-robustness. In addition, this protocol is communication-efficient, fault-tolerant and enjoys local differential privacy.

연구 동기 및 목표

• 분산/연합 학습에서 프라이버시와 강건성을 동시에 다룬다.
• 정직하지만 호기심 많은 서버를 상대로 입력 프라이버시를 보존하는 보안 집계 프로토콜을 개발한다.
• 정밀도를 유지하면서 기존의 Byzantine-robust 집계 규칙과의 호환성을 가능하게 한다.
• 실제 배치에서 내결함성, 확장성 및 낮은 통신 오버헤드를 보장한다.

제안 방법

• 워커들은 업데이트를 두 개의 비협력 서버와 비밀 공유한다.
• 두 서버 2PC 기반 보안 집계는 표준 합계 또는 Beaver의 트리플을 사용한 강건하고 거리 기반의 집계를 계산한다.
• 강건성을 위해 업데이트 간의 쌍 간 거리를 서버에서 안전하게 계산하고 이를 강건한 집계 오라클에 입력하여 가중치를 선택한다.
• 최종 집계 업데이트를 재구성하여 공개 모델에 적용하고, 비프라이버시 강건 방법에 비해 정밀도를 보존한다.
• 프로토콜은 워커의 이탈/신규 합류를 지원하며, 통신 효율적이도록 설계되었다(비프라이버시 대비 업링크 2배 이내).
• 프레임워크는 차등 프라이버시와 결합될 수 있으며 DP 기반 학습과 통합될 때 로컬 차등 프라이버시 메커니즘을 가능하게 한다.

실험 결과

연구 질문

• RQ1 개별 업데이트를 노출하지 않으면서 Byzantine-robust 분산 학습 설정에서 입력 프라이버시를 달성할 수 있는가?
• RQ2 거리 기반 강건 집계 규칙을 두 서버 MPC 프레임워크에 어떻게 안전하게 통합할 수 있는가?
• RQ3 보안 프로토콜이 비공개가 아닌 강건 집계의 정확한 결과를 보존하는가?
• RQ4 제안된 스킴의 실제 통신 및 내결함 특성은 어떠한가?
• RQ5 실무에서 차등 프라이버시와의 상호 작용은 어떻게 이루어지는가?

주요 결과

• 제안된 두 서버 보안 집계는 비프라이버시를 보존하지 않는 강건 집계와 동일한 결과를 산출한다(정밀성).
• 프로토콜은 강력한 입력 프라이버시를 보존하여 서버는 최종 집계 업데이트만을 알게 되며, 강건 모드에서는 업데이트 간 쌍 거리를 알지만 업데이트 자체는 알지 못한다.
• 워커 이탈 및 신규 합류에 대해 내결함성이 있으며, 단일 라운드의 통신 스킴과 적당한 오버헤드를 가진다.
• 통신 오버헤드는 비프라이버시 방법의 2배 이내이며, 서버 간 통신은 가속화될 수 있다; Krum 같은 기존 규칙으로 강건성을 달성할 수 있다.
• 해당 방법은 로컬 차등 프라이버시와 호환되며 DP 기반 학습 기법과 통합될 수 있다.