[논문 리뷰] Secure Federated Submodel Learning

Chaoyue Niu, Fan Wu외 6명|arXiv (Cornell University)|2019. 11. 06.

Privacy-Preserving Technologies in Data참고 문헌 91인용 수 28

한 줄 요약

이 논문은 자원이 제한된 클라이언트가 관련 모델 하위 구성 요소만 훈련하면서도 기밀성을 유지할 수 있도록 허용하는 안전한 피어드 서브모델 학습 프레임워크를 제안한다. 무작위 응답, 안전한 집계, 블룸 필터, 그리고 개인 정보 보호 기반 세트 유니온 프로토콜을 통합하여, 하위모델 위치 泄露에 대비한 국소적 차별적 프라이버시를 보장함으로써 실제 Taobao 데이터를 기반으로 한 전자상거래 추천 워크로드에서 높은 정확도와 확장성을 달성한다.

ABSTRACT

Federated learning was proposed with an intriguing vision of achieving collaborative machine learning among numerous clients without uploading their private data to a cloud server. However, the conventional framework requires each client to leverage the full model for learning, which can be prohibitively inefficient for resource-constrained clients and large-scale deep learning tasks. We thus propose a new framework, called federated submodel learning, where clients download only the needed parts of the full model, namely submodels, and then upload the submodel updates. Nevertheless, the "position" of a client's truly required submodel corresponds to her private data, and its disclosure to the cloud server during interactions inevitably breaks the tenet of federated learning. To integrate efficiency and privacy, we have designed a secure federated submodel learning scheme coupled with a private set union protocol as a cornerstone. Our secure scheme features the properties of randomized response, secure aggregation, and Bloom filter, and endows each client with a customized plausible deniability, in terms of local differential privacy, against the position of her desired submodel, thus protecting her private data. We further instantiated our scheme with the e-commerce recommendation scenario in Alibaba, implemented a prototype system, and extensively evaluated its performance over 30-day Taobao user data. The analysis and evaluation results demonstrate the feasibility and scalability of our scheme from model accuracy and convergency, practical communication, computation, and storage overheads, as well as manifest its remarkable advantages over the conventional federated learning framework.

연구 동기 및 목표

• 자원이 제한된 클라이언트를 위한 전통적인 피어드 학습의 비효율성을 해결하기 위해 전체 모델 업데이트가 아닌 하위모델 훈련을 가능하게 하기 위해.
• 클라우드 서버가 클라이언트가 필요한 진짜 하위모델 인덱스 세트를 알 수 없도록 하여, 개인 정보가 드러나는 것을 방지함으로써 클라이언트의 기밀성을 보호하기 위해.
• 하위모델 위치에 대한 국소적 차별적 프라이버시를 보장하면서도 모델 수렴성과 정확도를 유지하는 안전한 프로토콜을 설계하기 위해.
• 30일간의 실제 Taobao 데이터를 사용하여 실세계 전자상거래 추천 환경에서의 기술의 실현 가능성과 성능을 평가하기 위해.
• 다수의 통신 라운드에 반복적으로 참여함으로써 발생하는 프라이버시 泄露를 방지하기 위해 주기 기반, 그룹 기반, 익명화 또는 변형된 인덱스 세트 전략을 통해 이를 완화하기 위해.

제안 방법

• 클라이언트가 자신의 데이터와 관련된 하위모델만 다운로드하고, 업데이트도 하위모델 업데이트만 업로드하는 피어드 서브모델 학습을 제안하여 통신 및 계산 오버헤드를 줄인다.
• 서버가 개별 세트를 알 수 없도록 클라이언트의 하위모델 인덱스 유니온을 학습할 수 있도록 개인 정보 보호 기반 세트 유니온 프로토콜을 활용한다.
• 클라이언트의 진짜 하위모델 인덱스를 왜곡하는 무작위 응답 메커니즘을 도입하여 낙인성과 국소적 차별적 프라이버시를 제공한다.
• 통신 비용을 줄이기 위해 하위모델 인덱스를 효율적으로 인코딩하고 비교할 수 있도록 블룸 필터를 사용한다.
• 다수의 클라이언트로부터의 하위모델 업데이트를 개별 기여를 드러내지 않도록 안전한 집계를 적용하여 통합한다.
• 클라이언트가 각 주기 동안 한 번의 라운드에만 참여하는 주기 기반 통신 모델을 도입하여 반복적인 인덱스 세트 유니온 노출을 제한한다.

실험 결과

연구 질문

• RQ1 자원이 제한된 클라이언트를 위한 피어드 학습을 어떻게 효율적으로 만들 수 있을까? 이는 모델 정확도를 훼손하지 않도록 하기 위해.
• RQ2 클라이언트가 피어드 서브모델 학습에 반복적으로 참여함으로써 발생하는 프라이버시 위험은 무엇이며, 이를 어떻게 완화할 수 있을까?
• RQ3 클라이언트가 실제로 필요한 진짜 하위모델 인덱스를 숨기는 안전한 프로토콜을 설계할 수 있을까? 이를 통해 그녀의 개인 정보를 보호할 수 있을까?
• RQ4 대규모 추천 시스템에서 하위모델 선택은 수렴성, 통신, 스토리지 오버헤드에 어떤 영향을 미칠까?
• RQ5 기존의 피어드 학습에 비해 실세계 산업 환경에서 제안된 기술이 얼마나 효과적인가?

주요 결과

• 제안된 안전한 피어드 서브모델 학습 기술은 실제 Taobao 전자상거래 데이터 기반으로 기존 피어드 학습과 유사한 모델 정확도와 수렴성을 달성한다.
• 전체 모델 훈련에 비해 통신, 계산, 스토리지 오버헤드가 크게 감소하여 대규모 배포에 실용적이다.
• 무작위 응답, 안전한 집계, 블룸 필터의 통합은 하위모델 위치의 기밀성을 효과적으로 보호하여 국소적 차별적 프라이버시를 달성한다.
• 주기 기반 참여, 그룹 기반 협업, 익명화 또는 인덱스 세트 변형 전략을 통해 반복 참여로 인한 프라이버시 泄露를 완화한다.
• 30일간의 Taobao 데이터를 기반으로 한 평가를 통해 산업용 추천 시스템에서의 기술의 확장성과 실현 가능성을 확인하였다.
• 개인 정보 보호 기반 세트 유니온 프로토콜은 개별 클라이언트 데이터를暴露하지 않으면서도 하위모델 인덱스를 안전하게 집계할 수 있게 하여, 이 프레임워크의 핵심 기반 기술이 되었다.