[논문 리뷰] Can Decentralized Learning be more robust than Federated Learning?

Mathilde Raynal, Dario Pasquini외 1명|arXiv (Cornell University)|2023. 03. 07.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 분산 학습(DL)이 피어 투 피어 네트워크에서의 악성 공격 능력 향상으로 인해 연합 학습(FL)보다 본질적으로 더 취약하다는 것을 입증한다. 이는 개인 업데이트의 지식과 일관되지 않은 메시징을 악용하여 모델 수렴을 제어하거나 피해자를 격리시키는 두 가지 새로운 바르비셔안 공격—상태-오버라이드 및 샌드트랩—을 제안한다. 이 공격들은 SCClip과 같은 최신 강건한 프로토콜에도 효과를 발휘한다.

ABSTRACT

Decentralized Learning (DL) is a peer--to--peer learning approach that allows a group of users to jointly train a machine learning model. To ensure correctness, DL should be robust, i.e., Byzantine users must not be able to tamper with the result of the collaboration. In this paper, we introduce two extit{new} attacks against DL where a Byzantine user can: make the network converge to an arbitrary model of their choice, and exclude an arbitrary user from the learning process. We demonstrate our attacks' efficiency against Self--Centered Clipping, the state--of--the--art robust DL protocol. Finally, we show that the capabilities decentralization grants to Byzantine users result in decentralized learning \emph{always} providing less robustness than federated learning.

연구 동기 및 목표

• 분산 학습(DL)이 바르비셔안 사용자가 존재하는 상황에서 연합 학습(FL)보다 더 높은 강건성을 달성할 수 있는지 조사하기.
• DL의 피어 투 피어 아키텍처에서 발생하는, FL에는 존재하지 않는 새로운 악성 공격 능력을 규명하고 분석하기.
• SCClip과 같은 최신 강건한 DL 프로토콜이 새로운 바르비셔안 공격에 얼마나 효과적인지 평가하기.
• 악성 사용자가 개인 업데이트를 관찰할 수 있는 현실적인 위협 모델 하에서 DL과 FL의 강건성 비교하기.
• 분산형 토폴로지에서 강건성과 통신 효율성 간의 트레이드오프 분석하기.

제안 방법

• 정상 기여를 취소하여 임의의 모델로 수렴시키는 상태-오버라이드 공격을 설계하여 바르비셔안 사용자가 최종 모델을 완전히 제어할 수 있도록 한다.
• 일관되지 않은 업데이트를 보내 피해자 사용자를 네트워크에서 격리시키는 샌드트랩 공격을 도입하여 피해자가 학습을 방해당하고 다른 이들이 그의 기여를 얻을 수 없게 한다.
• 불일치하는 메시징이 DL에서 FL보다 강건성을 떨어뜨린다는 점을 보여주기 위해 소음이 포함된 업데이트 공격을 활용한다. 이는 미미한 노이즈로도 효과가 있다.
• 모든 개인 업데이트를 관찰하고 제어할 수 있도록 완전한 통신 토폴로지를 사용하여 악성 공격자의 시야와 통제력을 극대화한다.
• 동일한 훈련 조건에서 DL과 FL을 비교하여 분산형 통신이 악성 공격 능력에 미치는 영향을 분리 분석한다.
• 토목 밀도와 혼합 행렬 성질이 악성 공격력에 미치는 영향을 분석하여, 더 높은 밀도의 네트워크일수록 강건성이 떨어지며, 통신 효율성을 희생하지 않고서는 강건성을 확보하기 어려운 것으로 나타낸다.

실험 결과

연구 질문

• RQ1 분산 학습에서의 아키텍처적 차이로 인해 바르비셔안 사용자가 연합 학습에서 가능한 공격보다 더 해로운 공격을 수행할 수 있는가?
• RQ2 SCClip과 같은 기존의 강건한 집합 평균화 프로토콜이 분산 학습에서 새로운 공격에 얼마나 효과적인가?
• RQ3 다른 이웃에게 일관되지 않은 업데이트를 보내는 능력이, FL과 비교해 분산 학습에서 악성 공격자의 통제력을 어떻게 증가시키는가?
• RQ4 분산 학습 시스템에서 강건성과 통신 효율성 간에 본질적인 트레이드오프가 존재하는가?
• RQ5 피어 투 피어 네트워크에서 바르비셔안 사용자가 더 많은 능력을 확보함에 따라, 분산 학습이 연합 학습보다 더 강건해질 수 있는가?

주요 결과

• 상태-오버라이드 공격은 강건한 집합 평균화가 존재하더라도 정상 기여를 취소함으로써 바르비셔안 사용자가 최종 모델을 완전히 제어할 수 있음을 보여준다.
• 샌드트랩 공격은 피해자 사용자를 네트워크에서 격리시키며, 피해자가 학습을 하지 못하게 하고 네트워크가 그의 기여를 얻는 것을 방지한다.
• SCClip과 같은 최신 강건한 DL 프로토콜이 존재하더라도 공격은 여전히 효과적이며, 강건한 집합 평균화가 보안 격차를 메우지 못함을 입증한다.
• 소음이 포함된 업데이트 공격은 피어 투 피어 아키텍처로 인해 악성 사용자가 일관되지 않은 업데이트를 보낼 수 있는 경우, DL의 강건성이 FL보다 열 劣하다는 점을 보여준다.
• 분산 학습은 바르비셔안 사용자가 정상 기여를 관찰하고 일관되지 않은 메시지를 보낼 수 있는 능력을 확보함에 따라, 서버 기반의 FL보다 본질적으로 더 취약하다.
• 강건성과 토폴로지의 희박성은 직접적으로 대비된다: 더 높은 밀도의 토폴로지는 악성 공격력 증가로 이어지며, 통신 효율성을 희생하지 않고서는 강건성을 확보하기 어렵다.