[논문 리뷰] Analyzing the Robustness of Decentralized Horizontal and Vertical Federated Learning Architectures in a Non-IID Scenario

Pedro Miguel Sánchez Sánchez, Alberto Huertas Celdrán외 5명|arXiv (Cornell University)|2022. 10. 20.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 비독립적 데이터 분포와 악성 공격 하에서의 내성에 대해 평가하기 위해 세 가지 탈중앙화된 피어드 학습 아키텍처—HoriChain(수평형), VertiChain, VertiComb(수직형)—을 제안한다. HoriChain이 데이터 풀링 공격과 기울기 풀링 공격에 대해 수평형 아키텍처보다 뛰어난 내성을 보이며, 특히 중간 강도의 공격에서 두각을 나타내어 탈중앙화된 피어드 학습 환경에서 가장 강건한 구성임을 입증한다.

ABSTRACT

Federated learning (FL) allows participants to collaboratively train machine and deep learning models while protecting data privacy. However, the FL paradigm still presents drawbacks affecting its trustworthiness since malicious participants could launch adversarial attacks against the training process. Related work has studied the robustness of horizontal FL scenarios under different attacks. However, there is a lack of work evaluating the robustness of decentralized vertical FL and comparing it with horizontal FL architectures affected by adversarial attacks. Thus, this work proposes three decentralized FL architectures, one for horizontal and two for vertical scenarios, namely HoriChain, VertiChain, and VertiComb. These architectures present different neural networks and training protocols suitable for horizontal and vertical scenarios. Then, a decentralized, privacy-preserving, and federated use case with non-IID data to classify handwritten digits is deployed to evaluate the performance of the three architectures. Finally, a set of experiments computes and compares the robustness of the proposed architectures when they are affected by different data poisoning based on image watermarks and gradient poisoning adversarial attacks. The experiments show that even though particular configurations of both attacks can destroy the classification performance of the architectures, HoriChain is the most robust one.

연구 동기 및 목표

• 비독립적 데이터 및 악성 공격 하에서 탈중앙화된 수직형 피어드 학습(VFL) 아키텍처의 내성 평가 부족 문제를 해결하기 위해.
• 데이터 풀링 및 기울기 풀링 공격에 대비한 수평형과 수직형 피어드 학습 아키텍처의 내성 저항력을 비교하기 위해.
• 수평형 및 수직형 피어드 학습 시나리오에 맞게 설계된 세 가지 신규 탈중앙화된 피어드 학습 아키텍처—HoriChain, VertiChain, VertiComb—을 설계하고 구현하기 위해.
• 정확도, F1 점수, 혼동 행렬, 클라이언트 관련성 등의 지표를 사용하여 악성 공격이 모델 성능에 미치는 영향을 평가하기 위해.
• 실제로 개인정보 보호가 보장되고 비독립적 데이터 분포가 존재하는 조건에서 피어드 학습의 내성을 향상시키는 아키텍처 구성 요소를 규명하기 위해.

제안 방법

• 수평형 피어드 학습을 위한 HoriChain, 수직형 피어드 학습을 위한 VertiChain과 VertiComb을 포함한 세 가지 탈중앙화된 피어드 학습 아키텍처의 설계 및 구현. 각 아키텍처는 고유한 신경망 구조와 학습 프로토콜을 갖는다.
• 클라이언트 간에 비독립적 데이터 분포를 가진 손글씨 숫자 분류 사용 사례를 탈중앙화된 방식으로 구현하고, 개인정보 보호 기능을 통합한다.
• 이미지 워터마킹을 통한 데이터 풀링 공격 및 변조된 모델 업데이트를 통한 기울기 풀링 공격을 포함한 두 가지 유형의 악성 공격 적용.
• 기울기 배율 계수(-1, -10, 0)를 포함한 공격 파rameter의 체계적 변동을 통해 공격 강도와 모델 수렴에 미치는 영향 평가.
• 분류 정확도, F1 점수, 혼동 행렬, 클라이언트 관련성 등의 다중 지표를 사용하여 모델 행동 및 공격 탐지 가능성 평가.
• 동일한 공격 조건 하에서 아키텍처 성능 비교를 통해 HFL 및 VFL 환경 간 상대적 내성 평가.

실험 결과

연구 질문

• RQ1 이미지 워터마킹을 통한 데이터 풀링 공격 하에서 탈중앙화된 수평형 피어드 학습(HFL)의 내성은 수직형 피어드 학습(VFL)과 비교해 어떻게 다를까?
• RQ2 기울기 배율 계수를 변화시킨 기울기 풀링 공격이 HFL 및 VFL 아키텍처의 수렴 및 성능에 어떤 영향을 미치는가?
• RQ3 비독립적 데이터 분포가 악성 조건 하에서 HFL 및 VFL 아키텍처의 내성에 어떤 영향을 미치는가?
• RQ4 정확도, F1 점수, 또는 혼동 행렬과 같은 표준 지표로 데이터 풀링 또는 기울기 풀링 공격자 존재 여부를 탐지할 수 있는가?
• RQ5 탈중앙화된 피어드 학습 환경에서 데이터 풀링 및 기울기 풀링 공격에 대해 가장 높은 저항성을 보이는 아키텍처 설계—HoriChain, VertiChain, 또는 VertiComb—는 무엇인가?

주요 결과

• 기울기 배율 계수 -1일 때 HoriChain은 수렴 지연가 있음에도 불구하고 기능성 유지에 성공했고, VertiComb은 근처 무작위 예측 수준으로 성능이 악화되었다.
• 기울기 배율 계수 -10일 때 HoriChain과 VertiComb 양측 모두 기능성 모델 학습에 실패하여 고강도 기울기 풀링 공격에서 공격 성공을 의미한다.
• 워터마킹을 통한 데이터 풀링 공격 하에서 HoriChain과 VertiComb은 모두 표적 외 샘플에 대해 기준 수준의 정확도와 F1 점수를 유지했으며, 이는 배후 공격이 탐지되지 않았고 공격 성공률이 높음을 시사한다.
• 혼동 행렬 분석 결과, 표준 지표로는 데이터 풀링 공격이 탐지되지 않았다. 왜냐하면 깨끗한 샘플의 성능에 영향을 주지 않았지만, 오염된 입력에 대한 모델 행동에 심각한 영향을 미쳤기 때문이다.
• 기울기 배율 계수 -1일 때 HoriChain은 VertiComb보다 더 높은 내성을 보였으며, 이는 아키텍처 설계가 악성 공격에 대한 저항력에 결정적인 역할을 함을 시사한다.
• 기울기 배율 계수 0일 때 HoriChain과 VertiComb 간 내성에 유의미한 차이가 없었으며, 이는 최소 강도의 풀링 공격이 어느 아키텍처의 학습 과정에도 방해를 주지 않았음을 의미한다.