[논문 리뷰] Robust Federated Learning with Attack-Adaptive Aggregation

Ching Pui Wan, Qifeng Chen|arXiv (Cornell University)|2021. 02. 10.

Adversarial Robustness in Machine Learning참고 문헌 51인용 수 4

한 줄 요약

이 논문은 모델 오염 및 백도어 공격에 대해 강건한 피어드 학습을 위한 공격 적응형 집계 메커니즘을 제안한다. 이 메커니즘은 주어진 공격 유형에 대응하기 위해 주의 메커니즘을 갖춘 신경망을 사용하여 악성 클라이언트로부터 온 손상된 모델 업데이트를 탐지하고 재가중한다. 다양한 공격 하에서 자기지도 학습 방식으로 모델 업데이트의 취약 영역을 학습함으로써, 이미지 및 텍스트 벤치마크에서 모델 오염 및 백도어 공격에 대해 최신 기술 수준의 방어 성능을 달성한다.

ABSTRACT

Federated learning is vulnerable to various attacks, such as model poisoning and backdoor attacks, even if some existing defense strategies are used. To address this challenge, we propose an attack-adaptive aggregation strategy to defend against various attacks for robust federated learning. The proposed approach is based on training a neural network with an attention mechanism that learns the vulnerability of federated learning models from a set of plausible attacks. To the best of our knowledge, our aggregation strategy is the first one that can be adapted to defend against various attacks in a data-driven fashion. Our approach has achieved competitive performance in defending model poisoning and backdoor attacks in federated learning tasks on image and text datasets.

연구 동기 및 목표

• 비독립 동일 분포가 아닌 데이터 분포 조건에서 피어드 학습의 취약성을 모델 오염 및 백도어 공격으로부터 해결하기 위해.
• 중위수, 기하 평균, 유사도 기반 방법과 같은 기존 집계 규칙의 한계를 극복하기 위해, 적응형 공격자에 의해 우회 가능한 방식을 개선하기 위해.
• 공격 유형에 대한 사전 지식 없이도 공격 패tern을 탐지할 수 있는 데이터 기반의 적응형 방어 메커니즘을 개발하기 위해.
• 주의 모듈에서 학습된 취약도 점수를 바탕으로 클라이언트 업데이트를 동적으로 재가중함으로써 피어드 학습의 강건성을 향상시키기 위해.

제안 방법

• 주목적 기반 신경망을 훈련하여, 다양한 공격에 민감한 영역을 식별할 수 있는 모델 업데이트 벡터의 저차원 표현을 학습한다.
• 모의 공격에서 수집한 업데이트 벡터를 사용해 자기지도 학습을 통해 주의 모듈을 훈련함으로써, 레이블이 없는 공격 데이터가 필요 없도록 한다.
• 잠재 표현과 업데이트 벡터 간의 정렬 점수를 계산하여 적응형 가중치를 할당하고, 정상적인 업데이트는 강조하고 손상된 업데이트는 가중치를 낮춘다.
• 재가중된 업데이트를 스케일 요소 $c$와 잘라내기 함수를 사용해 조합하는 강건한 집계 규칙을 적용한다.
• 주의 기반 메커니즘을 활용해 업데이트 간의 유사도를 근사함으로써, 엣지 케이스 백도어 공격과 같은 미세한 공격을 탐지할 수 있도록 한다.
• 학습된 집계 전략을 피어드 평균 프레임워크에 통합하여, 알려지지 않은 또는 변화하는 공격 패턴에 동적으로 대응할 수 있도록 한다.

Figure 1: The overview of our approach for estimating the robust mean ${\bm{\mu}}_{robust}$ of the update vectors.

실험 결과

연구 질문

• RQ1 데이터 기반의 적응형 집계 전략이 피어드 학습에서 다양한 공격과 적응형 공격에 대해 고정된 집계 규칙보다 뛰어난 성능을 보일 수 있는가?
• RQ2 주목적 기반 신경망이 공격 유형에 대한 사전 지식 없이도 미세하거나 엣지 케이스의 모델 오염 및 백도어 공격을 탐지하는 데 얼마나 효과적인가?
• RQ3 제안된 방법이 다양한 데이터셋, 클라이언트 수, 공격 파라미터에 대해 얼마나 일반화되는가?
• RQ4 공격 조건 하에서 제안된 강건한 집계의 이론적 오차 한계는 무엇이며, 공격자의 비율에 따라 어떻게 변화하는가?
• RQ5 주의 기반 메커니즘이 유사도 근사 정확도가 전역 모델의 수렴성과 강건성에 미치는 영향은 어떠한가?

주요 결과

• 제안된 공격 적응형 집계 전략은 MNIST, CIFAR-10, Tiny-ImageNet, IMDb 데이터셋에서 모델 오염 및 백도어 공격에 대해 경쟁적인 방어 성능을 달성한다.
• 기존의 강건한 추정기인 중위수 및 기하 평균, FoolsGold 및 Krum과 같은 유사도 기반 방어 기법보다 뛰어난 성능을 보이며, 비독립 동일 분포가 아닌 데이터 및 높은 공격 비율 조건에서도 특히 두각을 나타낸다.
• 주의 기반 모델은 기존 방어 기법이 종종 탐지하지 못하는, 모델 업데이트의 일부 영역만 변경된 엣지 케이스 백도어 공격을 성공적으로 탐지한다.
• 이론적 분석 결과, 공격자가 50% 미만일 경우 강건 추정의 오차 한계는 $2e^{-2c}$로 제어되며, $c=10$일 때 약 $10^{-9}$의 상대 오차 한계를 달성하여 매우 높은 강건성을 보인다.
• 공격 파라미터나 데이터 분포가 변화하더라도 다양한 데이터셋 및 클라이언트 구성에서 잘 일반화되며, 강력한 방어 성능을 유지한다.
• 보수적인 스케일 요소 $c$를 사용함으로써, 기존에 알려지지 않은 공격에 대해 강건성을 확보할 수 있으며, 정상 클라이언트의 오진 탐지 및 거부를 방지한다.

Figure 2: The performance of aggregation strategies in the MNIST (top), CIFAR(middle), ImageNet(bottom) classification task. The ‘no attack’ scenario is combined with the omniscient attack in the left plots.