[논문 리뷰] Clustering Algorithm to Detect Adversaries in Federated Learning

Krishna Yadav, Brij B. Gupta|arXiv (Cornell University)|2021. 02. 22.

Privacy-Preserving Technologies in Data참고 문헌 7인용 수 4

한 줄 요약

이 논문은 IoT 시스템을 위한 연합 학습에서 악성 클라이언트를 탐지하기 위해 경량의 군집 기반 방법을 제안한다. 클라이언트 측 계산이나 고대역폭을 요구하지 않고 클라이언트 기울기를 분석함으로써, 40%의 클라이언트가 악성임에도 불구하고 전역 모델 정확도가 최대 99%에 도달하여 자원이 제한된 장치에 대한 강건성과 실현 가능성을 확보한다.

ABSTRACT

In recent times, federated machine learning has been very useful in building intelligent intrusion detection systems for IoT devices. As IoT devices are equipped with a security architecture vulnerable to various attacks, these security loopholes may bring a risk during federated training of decentralized IoT devices. Adversaries can take control over these IoT devices and inject false gradients to degrade the global model performance. In this paper, we have proposed an approach that detects the adversaries with the help of a clustering algorithm. After clustering, it further rewards the clients for detecting honest and malicious clients. Our proposed gradient filtration approach does not require any processing power from the client-side and does not use excessive bandwidth, making it very much feasible for IoT devices. Further, our approach has been very successful in boosting the global model accuracy, up to 99% even in the presence of 40% adversaries.

연구 동기 및 목표

• 악성 사용자가 잘못된 기울기를 주입할 수 있는 IoT 환경에서 연합 학습의 취약성을 해결하기 위해.
• 자원이 제한된 IoT 디바이스에 부담이 되는 계산 또는 대역폭을 요구하지 않고 악성 클라이언트를 탐지하기 위해.
• 악성 업데이트를 식별하고 걸러내어 고비율의 악성 클라이언트 상황에서도 전역 모델 정확도를 향상시키기 위해.
• 분산형이며 프라이버시를 보존하는 IoT 애플리케이션에 적합한 확장성 있고 효율적인 방어 메커니즘을 설계하기 위해.

제안 방법

• 기울기 유사도를 기반으로 클라이언트 업데이트를 군집화하는 알고리즘을 통해 이상치를 식별함으로써 잠재적인 악성 사용자를 탐지한다.
• 이 방법은 클라이언트 측에서 추가 처리나 통신 오버헤드 없이 서버 측에서만 작동한다.
• 클라이언트는 군집화 행동에 따라 순위 매기기 및 보상받으며, 이는 정직한 참여를 유도한다.
• 군집화 이후 기울기 정제를 적용하여 전역 모델 집계 이전에 악성 업데이트를 제외한다.
• 모델 재학습이나 복잡한 암호화 기법을 사용하지 않아 저비용 계산을 보장한다.
• 이 시스템은 기반 머신러닝 모델에 관계없이 작동하며, 다양한 연합 학습 프레임워크와 호환된다.

실험 결과

연구 질문

• RQ1 클라이언트 측 계산이나 고대역폭 사용 없이 군집 기반 접근 방식이 연합 학습에서 악성 클라이언트를 탐지할 수 있는가?
• RQ2 최대 40%의 클라이언트가 악성일 경우 제안된 방법이 전역 모델 정확도를 얼마나 잘 유지하는가?
• RQ3 기울기 패턴만을 기반으로 군집화 기법이 정직한 클라이언트와 악성 클라이언트를 신뢰성 있게 구분할 수 있는가?
• RQ4 군집화 행동에 대한 보상 메커니즘이 연합 학습 과정의 전반적인 신뢰성과 강건성을 향상시키는가?

주요 결과

• 제안된 방법은 참여 클라이언트의 40%가 악성임에도 불구하고 전역 모델 정확도가 최대 99%에 도달한다.
• 방어 메커니즘이 클라이언트 장치에 추가적인 계산 또는 통신 부담을 가하지 않아 IoT 구현에 적합하다.
• 군집 기반 탐지 기법은 모델 재학습이나 암호화 검증 없이 기울기 패턴 분석만으로도 악성 클라이언트를 성공적으로 식별한다.
• 군집화 행동에 대한 보상 메커니즘이 클라이언트 협업을 향상시키고 연합 학습 시스템의 내성 강도를 높인다.