[논문 리뷰] P4L: Privacy Preserving Peer-to-Peer Learning for Infrastructureless Setups

Ioannis Arapakis, Panagiotis Papadopoulos외 2명|arXiv (Cornell University)|2023. 02. 26.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

P4L는 중앙 집중형 서버나 차등 적분 개인정보 보호 기법에 의존하지 않고도 기밀성과 유효성을 유지하면서 모바일 기기들이 동료로 기계 학습 모델을 훈련시킬 수 있는 완전히 탈중앙화되고 인프라가 없는 피어 투 피어 학습 시스템을 제안한다. 이 시스템은 기울기 기밀성을 보존하기 위해 동형 암호화를 사용하며, 성능 오버헤드는 3 mAh 이하로 최소화한다. 이는 악성 공격에 대한 강건성과 다양한 기기 환경에서의 확장성을 입증한다.

ABSTRACT

Distributed (or Federated) learning enables users to train machine learning models on their very own devices, while they share only the gradients of their models usually in a differentially private way (utility loss). Although such a strategy provides better privacy guarantees than the traditional centralized approach, it requires users to blindly trust a centralized infrastructure that may also become a bottleneck with the increasing number of users. In this paper, we design and implement P4L: a privacy preserving peer-to-peer learning system for users to participate in an asynchronous, collaborative learning scheme without requiring any sort of infrastructure or relying on differential privacy. Our design uses strong cryptographic primitives to preserve both the confidentiality and utility of the shared gradients, a set of peer-to-peer mechanisms for fault tolerance and user churn, proximity and cross device communications. Extensive simulations under different network settings and ML scenarios for three real-life datasets show that P4L provides competitive performance to baselines, while it is resilient to different poisoning attacks. We implement P4L and experimental results show that the performance overhead and power consumption is minimal (less than 3mAh of discharge).

연구 동기 및 목표

• 중앙 집중형 피어드 페더레이티드 러닝의 개인정보 보호 및 확장성 한계를 해결하기 위해 단일 신뢰할 수 있는 서버에 의존하는 기존 시스템의 성능 저하와 단일 장애 지점 문제를 해결한다.
• 탈중앙화된 학습 시스템에서 블록체인, IPFS, 공개 키 인프라 등 외부 인프라에 대한 의존도를 제거한다.
• 차등 적분 개인정보 보호 기법으로 인한 유효성 손실을 피하기 위해 강력한密码 기반 원리를 사용하여 공유되는 모델 기울기의 기밀성과 유효성을 모두 보존한다.
• 기반 시설이 없는 근접 기반의 모바일 및 IoT 환경에서 장애 내성, 확장성, 효율적인 공동 학습을 가능하게 한다.
• 모든 피어가 신뢰할 수 없는 환경에서 악성 피어로부터의 정보 泄露 공격을 방지하기 위해 기울기의 암호화 보호를 통해 사용자 개인정보를 보호한다.

제안 방법

• P4L는 부분 동형 암호화(Paillier 암호 체계)를 사용하여 피어들이 복호화 없이 암호화된 기울기를 동형적으로 집계할 수 있도록 하여 기밀성과 모델 유효성을 모두 유지한다.
• 시스템은 팩킹된 암호문을 지원하는 커스텀 루스트 기반 HE 라이브러리를 구현하여 모델 기울기에 대한 효율적인 벡터화된 동형 연산을 가능하게 한다.
• Android의 Nearby Connections API를 활용하여 근처 기기들을 탐지하고 통신함으로써 기반 시설이 없는 근접 기반 피어 투 피어 통신을 실현한다.
• 모델 업데이트는 근처 피어 간 비동기적으로 공유되며, 각 기기에서는 로컬 훈련을 수행하고 기밀 기울기 집계에 참여한다.
• 암호문은 gzip을 사용해 압축되어 통신 오버헤드를 줄이고 자원 제약이 있는 기기에서의 성능을 향상시킨다.
• 시스템은 한 명의 피어도 신뢰할 수 없는 탈중앙화된 비협력 피어 모델을 사용하며, 암호화 기법을 통해 탈동일화 및 기울기 오염 공격을 방지한다.

실험 결과

연구 질문

• RQ1 중앙 집중형 피어드 페더레이티드 러닝에 의존하지 않고 차등 적분 개인정보 보호 기법 없이도 완전히 탈중앙화되고 인프라가 없는 피어 투 피어 학습 시스템이 중앙 집중형 기반 시스템과 유사한 모델 성능을 달성할 수 있는가?
• RQ2 동형 암호화의 사용이 모바일 기기에서의 공동 모델 훈련 성능과 전력 소비에 어떤 영향을 미치는가?
• RQ3 탈중앙화되고 신뢰할 수 없는 피어 환경에서 P4L는 다양한 종류의 오염 공격에 얼마나 강건한가?
• RQ4 현대 모바일 기기에서 P4L를 실행할 경우 실세계에서의 성능 오버헤드—특히 배터리 소모와 지연 시간 측면에서—는 어느 정도인가?
• RQ5 사용자 이탈과 동적 네트워크 조건이 존재하는 상황에서도 P4L는 확장성과 장애 내성을 유지할 수 있는가?

주요 결과

• P4L는 악성 환경에서도 중앙 집중형 피어드 페더레이티드 러닝 기준과 유사한 경쟁력 있는 모델 성능을 달성하며, 모델 유효성에 하락이 없음을 입증한다.
• 시스템은 최소한의 성능 오버헤드를 보이며 운영 중 3 mAh 이하의 배터리 소모를 기록하여 실생활 모바일 기기 배포에 실현 가능하다.
• 모든 테스트 기기에서 단일 심의의 종료 지연 시간은 4초 이내이며, 교환되는 모델 파rameter 수에 비례하여 선형적으로 증가한다.
• CPU 사용률은 공유되는 파라미터 수에 비례해 선형적으로 증가하지만, 현대 스마트폰에서 배경 작업으로 실행하는 데 있어 허용 가능한 수준을 유지한다.
• P4L는 다양한 오염 공격에 대해 강력한 강건성을 보이며, 일부 피어가 악성일 경우에도 글로벌 모델 정확도를 유지한다.
• 저성능 및 고성능 스마트폰을 포함한 다양한 하드웨어 구성의 기기들 사이에서 효과적으로 확장되며, 실용적 구현 가능성은 확인된다.