[논문 리뷰] Covert Channel Attack to Federated Learning Systems.

Gabriele Costa, Fabio Pinelli외 2명|arXiv (Cornell University)|2021. 04. 21.

Adversarial Robustness in Machine Learning참고 문헌 69인용 수 12

한 줄 요약

이 논문은 피드포워드 학습(FL) 시스템에서 악성 클라이언트가 모델 업데이트를 조작하여 숨겨진 데이터를 삽입함으로써 도청되지 않는 통신을 가능하게 하는 코어프트 채널 공격을 제안한다. 약간의 변화로 전역 모델을 약간 오염시킴으로써, 공격자는 각 업데이트당 한 비트의 정보를 전송할 수 있으며, 이는 오직 공모한 수신자만이 복호화할 수 있고, 모델 성능 저하나 의심을 불러일으키지 않는다.

ABSTRACT

Federated learning (FL) goes beyond traditional, centralized machine learning by distributing model training among a large collection of edge clients. These clients cooperatively train a global, e.g., cloud-hosted, model without disclosing their local, private training data. The global model is then shared among all the participants which use it for local predictions. In this paper, we put forward a novel attacker model aiming at turning FL systems into covert channels to implement a stealth communication infrastructure. The main intuition is that, during federated training, a malicious sender can poison the global model by submitting purposely crafted examples. Although the effect of the model poisoning is negligible to other participants, and does not alter the overall model performance, it can be observed by a malicious receiver and used to transmit a single bit.

연구 동기 및 목표

• 피드포워드 학습 시스템이 은밀한 통신 채널로 악용될 수 있는지 조사하기 위해.
• 모델 정확도에 영향을 주지 않고 전역 모델 업데이트에 숨겨진 데이터를 삽입할 수 있는 모델 오염 기법을 설계하기 위해.
• 은밀한 전송이 정직한 참가자들에게는 감지되지 않지만 악성 수신자에 의해 복호화될 수 있도록 보장하기 위해.
• FL의 신뢰 모델을 활용하여 은밀하고 지속적인 통신을 가능하게 하는 실현 가능성을 입증하기 위해.

제안 방법

• 악성 송신자는 전역 모델을 약간 변화시켜 단일 비트의 정보를 인코딩하는 방식으로 적대적 훈련 예제를 제작한다.
• 오염 정도는 전역 모델의 성능에 미미한 영향을 미치도록 조정되어, 정확도 기준을 충족시키며 유지된다.
• 악성 수신자는 FL 시스템에 속해 있는 다른 클라이언트이지만, 전역 모델 업데이트를 모니터링하고 특정 패턴의 모델 편향을 감지함으로써 삽입된 비트를 복호화한다.
• 공격은 모든 클라이언트가 정직하게 기여한다고 가정하는 집계 과정의 본질적인 신뢰를 악용한다.
• 송신자와 수신자만이 인코딩 방식을 알고 있기 때문에, 다른 참가자들에게는 통신이 보이지 않는다.
• 편향이 작고 일반적인 훈련 노이즈와 유사하므로, 일반적인 방어 조치에도 강건하다.

실험 결과

연구 질문

• RQ1 피드포워드 학습 시스템이 은밀한 통신을 위한 코어프트 채널로 재사용될 수 있는가?
• RQ2 모델 오염을 얼마나 효과적으로 사용할 수 있는가? 성능 저하나 의심을 일으키지 않으면서도 유용성은 유지한다.
• RQ3 악성 송신자와 수신자가 각 훈련 라운드당 한 비트를 전송하기 위해 어떻게 협력할 수 있는가?
• RQ4 은밀한 채널이 정직한 클라이언트와 시스템 모니터링 시스템에 의해 감지되지 않는 조건은 무엇인가?

주요 결과

• 제안된 공격은 미세한 모델 오염을 통해 각 전역 모델 업데이트에 단일 비트의 정보를 성공적으로 삽입한다.
• 모델 오염은 전역 모델의 성능에 거의 영향을 주지 않아 정확도가 수용 가능한 범위 내에서 유지된다.
• 암호화 패턴이 공격자 쌍만 알고 있기 때문에 오직 악성 수신자만이 숨겨진 비트를 복호화할 수 있다.
• 편향이 일반적인 훈련 변동과 구분되지 않기 때문에 정직한 클라이언트에게는 감지되지 않는다.
• FL 시스템의 아키텍처나 프로토콜에 변경이 필요 없이 코어프트 채널이 작동한다.
• 신뢰하는 집계 과정이 악용되어 은밀하고 지속적인 통신이 가능하다는 점을 입증한다.