[논문 리뷰] Secure Federated Clustering

Songze Li, Sizai Hou외 2명|arXiv (Cornell University)|2022. 05. 31.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

이 논문은 정보론적 데이터 프라이버시를 보장하면서도 중심화된 k-means 클러스터링과 정확히 동일한 성능을 달성하는 보안 페더레이티드 클러스터링 알고리즘인 SecFC를 제안한다. 이는 라그랑주 인코딩된 데이터 공유와 인코딩된 데이터 위에서의 보안 계산을 사용하여, 서버나 공모하는 클라이언트에게도 클라이언트 데이터나 클러스터 중심을 泄露하지 않고 정확한 라이드 알고리즘 실행을 가능하게 한다.

ABSTRACT

We consider a foundational unsupervised learning task of $k$-means data clustering, in a federated learning (FL) setting consisting of a central server and many distributed clients. We develop SecFC, which is a secure federated clustering algorithm that simultaneously achieves 1) universal performance: no performance loss compared with clustering over centralized data, regardless of data distribution across clients; 2) data privacy: each client's private data and the cluster centers are not leaked to other clients and the server. In SecFC, the clients perform Lagrange encoding on their local data and share the coded data in an information-theoretically private manner; then leveraging the algebraic structure of the coding, the FL network exactly executes the Lloyd's $k$-means heuristic over the coded data to obtain the final clustering. Experiment results on synthetic and real datasets demonstrate the universally superior performance of SecFC for different data distributions across clients, and its computational practicality for various combinations of system parameters. Finally, we propose an extension of SecFC to further provide membership privacy for all data points.

연구 동기 및 목표

• 클라이언트 간 비균일한 데이터 분포에서 기존 페더레이티드 클러스터링 방법의 성능 저하 문제를 해결한다.
• k-FED와 같이 서버에 클러스터 중심과 데이터 분포가 泄露되는 최신 기법들에서 발생하는 프라이버시 유출 문제를 해결한다.
• 공모하는 클라이언트와 호기심을 가진 서버에 대해 클라이언트 데이터와 클러스터 중심에 대한 정보론적 프라이버시를 달성한다.
• 멤버십 프라이버시를 보호하는 프레임워크로 확장하여, 어떤 클라이언트가 어떤 데이터 포인트를 소유하고 있는지 숨기는 것을 가능하게 하되, 성능이나 보안을 희생시키지 않는다.
• 다양한 시스템 파rameter에서 합성 및 실세계 데이터셋을 대상으로 계산의 실용성과 강건성을 입증한다.

제안 방법

• 클라이언트는 로컬 데이터에 라그랑주 다항식 인코딩을 적용하고, 임의의 노이즈를 혼합하여 인코딩된 데이터 공유를 생성한다.
• 암호화된 데이터 세그먼트는 기밀 공유를 통해 모든 클라이언트 간에 안전하게 공유되며, 이로 인해 단일 클라이언트나 서버도 원래 데이터를 재구성할 수 없다.
• 시스템은 라그랑주 인코딩의 대수적 구조를 활용하여 각 클라이언트가 클러스터 중심과 데이터 포인트 간의 거리에 대한 비밀 공유를 국지적으로 계산할 수 있도록 한다.
• 서버는 충분한 비밀 공유를 집계하여 쌍별 거리를 재구성할 수 있지만, 실제 데이터 포인트나 클러스터 중심의 값은 알 수 없다.
• 라이드 알고리즘이 중심화된 k-means와 정확히 동일하게 실행되며, 중심 업데이트에만 재구성된 거리 값만을 사용한다.
• 확장된 버전은 프라이빗 세트 유니온(PSU) 프로토콜을 통합하여 클라이언트 간 데이터 포인트 ID를 정렬하고, 데이터 소유권을 숨김으로써 멤버십 프라이버시를 실현한다.

실험 결과

연구 질문

• RQ1 비균일한 데이터 분포를 가진 클라이언트 간에서 페더레이티드 k-means 클러스터링 알고리즘이 중심화된 k-means와 동일한 성능을 달성할 수 있는가?
• RQ2 페더레이티드 클러스터링 환경에서 클라이언트 데이터와 클러스터 중심에 대해 정보론적 프라이버시를 달성할 수 있는가?
• RQ3 제안된 방법이 임의의 데이터 분포와 다양한 로컬 클러스터 수에서 높은 성능과 강력한 프라이버시를 유지할 수 있는가?
• RQ4 클라이언트가 어떤 데이터 포인트를 소유하고 있는지 숨기는 멤버십 프라이버시를 추가로 보호할 수 있는가? 이는 클러스터링 정확도나 보안을 훼손하지 않고 가능한가?
• RQ5 다양한 시스템 구성과 실세계 데이터셋에서 제안된 방법의 통신 및 계산 확장성은 어떠한가?

주요 결과

• SecFC는 데이터 분포나 클라이언트당 로컬 클러스터 수에 관계없이 중심화된 라이드 알고리즘과 정확히 동일한 클러스터링 성능을 달성한다.
• k-FED는 클라이언트당 로컬 클러스터 수가 전역 k에 가까워질수록 성능이 급격히 떨어지지만, SecFC는 이러한 변화에 영향을 받지 않아 성능이 변하지 않는다.
• MNIST 숫자 클러스터링 작업에서 SecFC는 k′ = k일지라도 k-FED를 일관되게 능가하고 중심화된 기준선과 동일한 성능을 유지한다.
• 이 방법은 정보론적 프라이버시를 유지한다: 어떤 클라이언트나 서버도 원래 데이터 포인트나 클러스터 중심을 재구성할 수 없다.
• 프라이빗 ID 정렬을 통합한 확장된 SecFC는 성공적으로 데이터 소유권을 숨기며 멤버십 프라이버시를 보장하면서도 클러스터링 정확도를 유지한다.
• 실험 결과는 SecFC가 다양한 시스템 파rameter, 즉 클라이언트 수, 데이터 크기, 클러스터 수 등에서 계산적으로 실용적임을 확인한다.