[논문 리뷰] FedCIP: Federated Client Intellectual Property Protection with Traitor Tracking

Junchuan Liang, Rong Wang|arXiv (Cornell University)|2023. 06. 02.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

FedCIP는 파라미터 암호화와 같은 보안 집계 프로토콜과도 호환되는 새로운 피어드 학습 프레임워크로, 클라이언트 측 지적재산권 보호와 배신자 추적을 가능하게 한다. 동적이고 교체 가능한 클라이언트 측 워터마크와 클라이언트 선택 기반 기법을 사용하여 반복적으로 모델을 盗취하는 악성 클라이언트를 식별하며, 50회의 피닝튜닝 라운드 이후에도 100%의 워터마크 탐지 정확도를 유지하고, 50%까지의 희박성에 대한 내성도 확보한다.

ABSTRACT

Federated learning is an emerging privacy-preserving distributed machine learning that enables multiple parties to collaboratively learn a shared model while keeping each party's data private. However, federated learning faces two main problems: semi-honest server privacy inference attacks and malicious client-side model theft. To address privacy inference attacks, parameter-based encrypted federated learning secure aggregation can be used. To address model theft, a watermark-based intellectual property protection scheme can verify model ownership. Although watermark-based intellectual property protection schemes can help verify model ownership, they are not sufficient to address the issue of continuous model theft by uncaught malicious clients in federated learning. Existing IP protection schemes that have the ability to track traitors are also not compatible with federated learning security aggregation. Thus, in this paper, we propose a Federated Client-side Intellectual Property Protection (FedCIP), which is compatible with federated learning security aggregation and has the ability to track traitors. To the best of our knowledge, this is the first IP protection scheme in federated learning that is compatible with secure aggregation and tracking capabilities.

연구 동기 및 목표

• 기존의 지적재산권 보호 기법들이 피어드 학습의 보안 집계 기능과 호환되지 않거나, 반복적인 모델 盗취자를 추적할 수 없는 격차를 메운다.
• 서버 측 계산을 수정하지 않으면서도 피어드 학습 환경에서 클라이언트 측 모델 지적재산권을 보호하며, 암호화 기반 보안과의 호환성을 확보한다.
• 다양한 학습 라운드 동안 고유한 교체 가능한 워터마크를 삽입하여 반복적으로 모델을 盗취하는 악성 클라이언트를 탐지할 수 있도록 한다.
• 희박화 및 피닝튜닝과 같은 일반적인 모델 조작 공격에 대해 높은 워터마크 탐지 정확도를 유지하면서 성능 오버헤드를 최소화한다.
• 정직하지만 호기심이 많은 서버와 지속적인 클라이언트 측 盗취 위협 상황에서 실용적이고 확장 가능한 배신자 식별 솔루션을 제공한다.

제안 방법

• 각 피어드 학습 라운드마다 워터마크를 동적으로 변경하는 교체 가능한 클라이언트 측 워터마킹을 적용하여, 각 클라이언트당 각 라운드마다 고유한 워터마크를 확보한다.
• 의심스러운 모델 업데이트가 포함된 라운드에 참여한 클라이언트를 기반으로 잠재적 배신자 후보 집합을 구성한다.
• 여러 개의 의심스러운 모델 집합 간에 겹치는 클라이언트를 분석하여 교차 분석을 통해 실제 배신자를 식별한다.
• Paillier 암호화와 같은 보안 집계 프로토콜과 통합하기 위해 서버 측 모델 수정 없이 클라이언트 측 워터마크 삽입만 요구한다.
• 다중 라운드에 걸쳐 고유한 워터마크에 참여한 클라이언트만 경고 대상이 되므로, 도난 행위의 비용을 증가시켜 악성 공격자의 행동을 억제한다.
• 서버 측 모델 수정을 최소화하여 기존의 보안 집계 기술과의 후행 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 파라미터 암호화와 같은 보안 집계 프로토콜과 호환되면서도 피어드 학습 환경에서 배신자 추적을 가능하게 하는 워터마킹 기법을 설계할 수 있는가?
• RQ2 제안된 방법은 반복적으로 여러 학습 라운드에 걸쳐 모델을 盗취하는 악성 클라이언트를 탐지하고 식별하는 데 얼마나 효과적인가?
• RQ3 희박화 및 피닝튜닝과 같은 일반적인 모델 조작 공격에 대해 워터마킹 기법의 내성은 어느 정도인가?
• RQ4 동적 워터마킹 메커니즘이 실제 피어드 학습 환경에서 모델 정확도와 탐지 성능에 어떤 영향을 미치는가?
• RQ5 배신자 추적 메커니즘이 악성 클라이언트가 모델 도난에 참여할 동기를 얼마나 줄이는가?

주요 결과

• FedCIP는 50회의 피닝튜닝 라운드 이후에도 100%의 워터마크 탐지 정확도를 유지하여 모델 피닝튜닝 공격에 강력한 저항성을 보인다.
• 희박성 계수 0.5까지의 희박화 공격 상황에서도 워터마크 탐지 정확도가 원래 값의 5% 이내로 유지되어 가중치 희박화에 대한 내성성을 입증한다.
• 다양한 라운드 동안의 의심스러운 클라이언트 집합 간 교차 분석을 통해 악성 클라이언트를 성공적으로 식별하여 정확한 배신자 추적을 가능하게 한다.
• FedCIP는 Paillier 암호화와 같은 보안 집계 프로토콜과 완전히 호환되며, 집계를 초월한 서버 측 모델 수정이 필요하지 않다.
• 동적 워터마킹 메커니즘은 반복적인 도난 행위가 탐지 가능해지므로 도난 비용을 증가시켜 지속적인 공격자를 억제한다.
• 다양한 데이터셋과 모델에서 모델 정확도를 유지함으로써, 실제 피어드 학습 환경에서의 실용성과 확장성을 확인한다.