[논문 리뷰] WAFFLE: Watermarking in Federated Learning

Buse Gul Atli, Yuxi Xia외 2명|arXiv (Cornell University)|2020. 08. 17.

Privacy-Preserving Technologies in Data참고 문헌 60인용 수 4

한 줄 요약

WAFFLE는 페더레이티드 러닝을 위한 첫 번째 워터마킹 기법으로, 훈련 데이터에 접근하지 않고도 딥 네ural 네트워크 모델에 내구성 있는 워터마크를 삽입한다. 매 수렴 후 서버 측 재학습 단계를 통해 정확도 저하(-0.17%)와 낮은 계산 오버헤드(+3.2%)로 최소화하면서 배경 장애 기반 워터마크를 삽입함으로써 분산 훈련 환경에서 모델 소유권 검증을 가능하게 한다.

ABSTRACT

Federated learning is a distributed learning technique where machine learning models are trained on client devices in which the local training data resides. The training is coordinated via a central server which is, typically, controlled by the intended owner of the resulting model. By avoiding the need to transport the training data to the central server, federated learning improves privacy and efficiency. But it raises the risk of model theft by clients because the resulting model is available on every client device. Even if the application software used for local training may attempt to prevent direct access to the model, a malicious client may bypass any such restrictions by reverse engineering the application software. Watermarking is a well-known deterrence method against model theft by providing the means for model owners to demonstrate ownership of their models. Several recent deep neural network (DNN) watermarking techniques use backdooring: training the models with additional mislabeled data. Backdooring requires full access to the training data and control of the training process. This is feasible when a single party trains the model in a centralized manner, but not in a federated learning setting where the training process and training data are distributed among several client devices. In this paper, we present WAFFLE, the first approach to watermark DNN models trained using federated learning. It introduces a retraining step at the server after each aggregation of local models into the global model. We show that WAFFLE efficiently embeds a resilient watermark into models incurring only negligible degradation in test accuracy (-0.17%), and does not require access to training data. We also introduce a novel technique to generate the backdoor used as a watermark. It outperforms prior techniques, imposing no communication, and low computational (+3.2%) overhead.

연구 동기 및 목표

• 클라이언트가 모델을 역설계하고 도용할 수 있는 페더레이티드 러닝 환경에서 모델 소유권 문제를 해결한다.
• 모델 소유자가 훈련 데이터에 접근할 수 없고 훈련 과정을 제어할 수 없는 분산 환경에서 작동하는 워터마킹 기법을 개발한다.
• 워터마크가 제거 시도에 저항할 수 있도록 내구성을 확보하고, 블랙박스 접근 조건에서도 검증이 가능하도록 보장한다.
• 악성 클라이언트 존재 조건에서도 성능 저하와 계산 오버헤드를 최소화한다.
• 원시 데이터 접근 없이도 통신 오버헤드 없이 작동하는 새로운 배경 장애 생성 기법을 통해 소유권을 입증할 수 있도록 한다.

제안 방법

• 매 수렴 라운드 이후 서버 측 재학습 단계를 도입하여 글로벌 모델에 워터마크를 삽입한다.
• 합성 데이터로 훈련된 서rogate 모델을 활용해 오류 레이블링된 입력을 생성하는 새로운 배경 장애 기반 워터마킹 기법을 적용한다.
• 재학습 과정 중에 비밀 워터마크 패턴을 모델에 삽입하여 제거에 대한 내구성을 확보한다.
• 워터마크 삽입 시 모델 유틸리티를 유지하기 위해 정규화 손실을 적용하여 정확도 저하를 최소화한다.
• 원래 훈련 데이터에 접근하지 않고도, 서rogate 모델과 데이터 증강 기법에 의존하여 워터마크를 생성한다.
• 모델이 추출되거나 공유된 경우에도 블랙박스 테스트를 통해 내장된 배경 장애 패턴을 활용해 소유권 검증이 가능하도록 한다.

Figure 1: Architecture and adversary model for watermarking in federated learning. Parties under the control of an adversary are highlighted in red.

실험 결과

연구 질문

• RQ1 훈련 데이터에 접근하지 않고도 페더레이티드 러닝으로 훈련된 DNN 모델에 워터마크를 효과적으로 삽입할 수 있는가?
• RQ2 분산 훈련 환경에서 모델 추출 및 제거 공격에 저항할 수 있는 워터마킹 기법은 어떻게 설계할 수 있는가?
• RQ3 페더레이티드 러닝에서 워터마킹이 모델 정확도와 계산 효율성에 미치는 영향은 어떠한가?
• RQ4 모델 가중치나 기울기 정보 없이도 블랙박스 접근만으로 워터마크를 검증할 수 있는가?
• RQ5 비독립 동일 분포(non-IID) 데이터 분포와 악성 클라이언트 행동 조건에서 제안된 방법은 어떻게 스케일링되는가?

주요 결과

• WAFFLE는 페더레이티드 러닝 모델에 워터마크를 삽입할 때 시험 정확도 저하가 극히 미미한 -0.17%를 기록한다.
• 계산 오버헤드는 단지 3.2% 증가에 그쳐 실세계 구현에 매우 효율적이다.
• 워터마크는 모델 도용 및 제거 공격에 대해 내구성이 있으며, 적대자가 모델을 추출하거나 수정하려 시도하더라도 저항할 수 있다.
• 비독립 동일 분포 데이터 분포 조건에서도 워터마크의 내구성과 모델 유틸리티를 유지하며 통신 및 계산 오버헤드가 약간 증가하는 것으로 제한된다.
• 블랙박스 테스팅을 통해 워터마크를 검증할 수 있어, 모델의 화이트박스 접근 없이도 소유권 입증이 가능하다.
• 제안된 배경 장애 생성 기법은 통신 오버헤드 없이 작동하며, 훈련 데이터에 접근 불가 조건에서도 효과적이다.

(a)