[논문 리뷰] BlockFLA: Accountable Federated Learning via Hybrid Blockchain Architecture

Harsh Desai, Mustafa Safa Özdayi외 1명|arXiv (Cornell University)|2020. 10. 14.

Privacy-Preserving Technologies in Data참고 문헌 30인용 수 10

한 줄 요약

BlockFLA는 블록체인 기반의 하이브리드 아키텍처를 제안하여, 스마트 계약을 통해 훈련 후에 백도어 공격자를 탐지하고 제재함으로써 연합학습(FL)의 책임성과 투명성을 향상시킨다. 개인 블록체인을 사용해 효율적인 모델 집합을 수행하고, 공개 블록체인을 통해 투명하고 변경 불가능한 제재를 구현함으로써, FL의 통신 효율성을 유지하면서도 강력하고 즉각적인 방어 기능을 제공한다.

ABSTRACT

Federated Learning (FL) is a distributed, and decentralized machine learning protocol. By executing FL, a set of agents can jointly train a model without sharing their datasets with each other, or a third-party. This makes FL particularly suitable for settings where data privacy is desired. At the same time, concealing training data gives attackers an opportunity to inject backdoors into the trained model. It has been shown that an attacker can inject backdoors to the trained model during FL, and then can leverage the backdoor to make the model misclassify later. Several works tried to alleviate this threat by designing robust aggregation functions. However, given more sophisticated attacks are developed over time, which by-pass the existing defenses, we approach this problem from a complementary angle in this work. Particularly, we aim to discourage backdoor attacks by detecting, and punishing the attackers, possibly after the end of training phase. To this end, we develop a hybrid blockchain-based FL framework that uses smart contracts to automatically detect, and punish the attackers via monetary penalties. Our framework is general in the sense that, any aggregation function, and any attacker detection algorithm can be plugged into it. We conduct experiments to demonstrate that our framework preserves the communication-efficient nature of FL, and provide empirical results to illustrate that it can successfully penalize attackers by leveraging our novel attacker detection algorithm.

연구 동기 및 목표

• 연합학습에서 악성 클라이언트가 훈련 중에 감지되지 않은 채로 모델을 오염시키는 위협이 증가하고 있는 데 대응하기 위해.
• 방어 조치가 실패하더라도, 모델 배포 후에 악성 참가자를 탐지하고 제재할 수 있는 메커니즘을 제공하기 위해.
• 통신 효율성을 해치지 않으면서도, 탈중앙화되고 프라이버시를 보존하는 FL의 본질을 유지하는 확장 가능한 통신 효율적인 블록체인 아키텍처를 설계하기 위해.
• 어떤 FL 집합 방법(예: FedAvg, signSGD)과 공격자 탐지 알고리즘에도 즉시 통합 가능한 플러그 앤 플레이 통합을 가능하게 하기 위해.
• 개인 블록체인을 통한 집합과 공개 블록체인을 통한 제재 집행을 통해 프라이버시와 투명성의 균형을 이루기 위해.

제안 방법

• Hyperledger를 사용한 개인 블록체인을 통해 안전하고 저지연의 모델 집합을 수행하고, 이더리움을 사용한 공개 블록체인을 통해 투명하고 변경 불가능한 제재 집행을 수행하는 하이브리드 블록체인 아키텍처를 설계한다.
• 정의된 규칙에 따라 악성 클라이언트의 탐지와 제재를 자동화하기 위해 두 블록체인에 스마트 계약을 구현한다.
• 새로운 공격자 탐지 알고리즘을 실행하기 위해 오프체인 서버 측 계산을 사용하여 통계적 이상 탐지 기반으로 모델 오염을 식별한다.
• FedAvg와 signSGD와 같은 표준 FL 알고리즘과의 통합을 보장하여 호환성과 최소한의 오버헤드를 확보한다.
• 구조화되고 검증 가능한 제재 메커니즘을 보장하기 위해 클라이언트-서버 스마트 계약을 자동으로 생성한다.
• 암호학적 서명과 명성 시스템을 활용하여 탐지 과정에서의 신뢰도를 높이고 가짜 경고의 가능성을 줄인다.

실험 결과

연구 질문

• RQ1 하이브리드 블록체인 아키텍처는 연합학습에서 통신 효율적인 모델 집합과 투명하고 책임 있는 제재 집행을 효과적으로 분리할 수 있는가?
• RQ2 모델 집합 단계에서 방어 조치가 실패하더라도, 훈련 후에 백도어 공격자를 어떻게 탐지하고 제재할 수 있는가?
• RQ3 이 하이브리드 블록체인 프레임워크는 연합학습의 통신 효율성을 어느 정도 유지하는가?
• RQ4 이 프레임워크는 다양한 FL 집합 알고리즘과 탐지 메커니즘을 지원하기 위해 일반화될 수 있는가?
• RQ5 오프체인 공격자 탐지 알고리즘이 백도어를 주입하는 악성 클라이언트를 얼마나 효과적으로 식별하는가?

주요 결과

• BlockFLA 프레임워크는 공개 블록체인의 고지연을 피하기 위해 개인 블록체인에서 모델 집합을 수행함으로써 연합학습의 통신 효율성을 성공적으로 유지한다.
• 실험 결과, 오프체인 이상 탐지 알고리즘을 통해 훈련 후에 백도어 공격자를 높은 정확도로 탐지할 수 있었으며, 이는 악성 클라이언트 식별의 실현 가능성을 입증한다.
• 공개 블록체인 스마트 계약을 통해 시행되는 금전적 제재는 악성 행동을 효과적으로 억제하여 향후 FL 라운드에서의 악성 참여를 방지한다.
• 프레임워크는 핵심 아키텍처를 수정하지 않고도 FedAvg와 signSGD를 포함한 다양한 집합 방법과의 통합을 지원하여 일반화 가능성을 입증한다.
• 실증 결과, 공개 블록체인 기반의 단일 접근 방식 대비 가스 비용과 트랜잭션 지연을 줄여 실세계 구현 가능성과 타당성을 입증한다.
• 공격자 탐지 알고리즘이 최소한의 가짜 경고를 동반하면서도 FedAvg 환경에서 모델 오염을 성공적으로 식별하여, 확장 가능한 방식으로 오프체인 탐지의 실현 가능성을 입증한다.