[논문 리뷰] Federated Robustness Propagation: Sharing Adversarial Robustness in Federated Learning.

Junyuan Hong, Haotao Wang외 2명|arXiv (Cornell University)|2021. 06. 18.

Adversarial Robustness in Machine Learning참고 문헌 52인용 수 6

한 줄 요약

이 논문은 고자원 플러거드 학습(FL) 사용자가 적대적 훈련을 수행할 수 있도록 하여, 자원이 제한된 사용자에게 적대적 내성성을 전달하는 '연합 내성성 전파(Federated Robustness Propagation)' 방법을 제안한다. 연합 학습 중에 배치 정규화 통계를 전략적으로 공유함으로써, 적대적 훈련 능력이 없는 사용자조차도 강력한 내성성을 달성할 수 있도록 하며, 최소한의 비용으로 연합 학습 시스템의 내성성을 크게 향상시킨다.

ABSTRACT

Federated learning (FL) emerges as a popular distributed learning schema that learns a model from a set of participating users without requiring raw data to be shared. One major challenge of FL comes from heterogeneity in users, which may have distributionally different (or non-iid) data and varying computation resources. Just like in centralized learning, FL users also desire model robustness against malicious attackers at test time. Whereas adversarial training (AT) provides a sound solution for centralized learning, extending its usage for FL users has imposed significant challenges, as many users may have very limited training data as well as tight computational budgets, to afford the data-hungry and costly AT. In this paper, we study a novel learning setting that propagates adversarial robustness from high-resource users that can afford AT, to those low-resource users that cannot afford it, during the FL process. We show that existing FL techniques cannot effectively propagate adversarial robustness among non-iid users, and propose a simple yet effective propagation approach that transfers robustness through carefully designed batch-normalization statistics. We demonstrate the rationality and effectiveness of our method through extensive experiments. Especially, the proposed method is shown to grant FL remarkable robustness even when only a small portion of users afford AT during learning. Codes will be published upon acceptance.

연구 동기 및 목표

• 사용자 간 데이터 분포의 이질성과 제한된 계산 자원이 존재하는 연합 학습에서 적대적 내성성 문제를 해결하기 위해.
• 데이터 및 계산 자원 제약로 인해 적대적 훈련을 수행할 수 없는 저자원 사용자가 고자원 사용자로부터 내성성을 전파받을 수 있도록 하기 위해.
• 비독립 동일 분포(non-i.i.d.) 및 자원 제약이 있는 사용자 간 내성성 전파에 한계를 가진 기존 연합 학습 방법의 문제점을 해결하기 위해.
• 추가 데이터나 저자원 클라이언트에서의 재훈련이 필요 없이 경량화되고 효과적인 메커니즘을 설계하기 위해.

제안 방법

• 이 방법은 적대적 훈련을 수행하는 고자원 사용자의 배치 정규화 통계를 활용하여 내성성을 저자원 클라이언트로 전파한다.
• 내성성은 배치 정규화 레이어의 누적 통계에 코딩되며, 이는 연합 집계 과정에서 공유된다.
• 이 방법은 저자원 클라이언트에서의 재훈련이나 추가 데이터가 필요 없으며, 대신 모델 집계 중 통계 전이에 의존한다.
• 적대적 일반화 성질을 유지하는 정밀한 정규화 통계 설계를 통해 내성성 전파를 달성한다.
• 표준 연합 학습 프레임워크와 호환되며, 최소한의 계산 오버헤드를 유발한다.

실험 결과

연구 질문

• RQ1 고자원 사용자에서 저자원 사용자로 적대적 내성성이 연합 학습에서 효과적으로 전파될 수 있는가?
• RQ2 저자원 클라이언트에서 적대적 훈련을 요구하지 않고 내성성이 어떻게 전달될 수 있는가?
• RQ3 비독립 동일 분포(non-i.i.i.d.) 데이터와 제한된 클라이언트 자원 조건 하에서도 제안된 방법이 내성성을 유지하는가?
• RQ4 배치 정규화 통계를 공유함으로써 전체 연합 학습 내성성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 고자원 사용자가 적대적 훈련을 수행하는 비율이 매우 낮은 경우조차도 전체 연합 학습 시스템의 적대적 내성성을 크게 향상시킨다.
• 저자원 사용자는 적대적 훈련을 수행하지 않더라도 배치 정규화 통계의 전파 덕분에 강력한 내성성을 달성한다.
• 이 방법은 비독립 동일 분포(non-i.i.d.) 데이터 분포 조건 하에서도 높은 모델 정확도를 유지하며, 표준 연합 학습 기반선보다 내성성 면에서 뛰어난 성능을 보인다.
• 이 방법은 최소한의 계산 오버헤드를 유발하여 자원이 제한된 클라이언트가 있는 실세계 연합 학습 구현에 실용적이다.