[논문 리뷰] Privacy-Preserving and Outsourced Multi-User k-Means Clustering

Bharath K. Samanthula, Fang-Yu Rao외 3명|arXiv (Cornell University)|2014. 12. 14.

Privacy-Preserving Technologies in Data참고 문헌 2인용 수 4

한 줄 요약

이 논문은 n명의 사용자가 암호화된 데이터를 피어드 클라우드 환경으로 안전하게 외주할 수 있도록 하는 새로운 프라이버시 보장형 및 외주형 다중 사용자 k-means 군집화 프로토콜(PPODC)을 제안한다. 효율적인 변환 기법을 통해 보안 나눗셈 연산을 제거함으로써, 반신뢰 모델 하에서 데이터 기밀성을 보장하면서도 사용자 측에서 거의 비용이 들지 않으며, 클라우드 측 계산은 데이터 크기, 속성 수, 군집 수에 비례하여 선형적으로 증가한다.

ABSTRACT

Many techniques for privacy-preserving data mining (PPDM) have been investigated over the past decade. Often, the entities involved in the data mining process are end-users or organizations with limited computing and storage resources. As a result, such entities may want to refrain from participating in the PPDM process. To overcome this issue and to take many other benefits of cloud computing, outsourcing PPDM tasks to the cloud environment has recently gained special attention. We consider the scenario where n entities outsource their databases (in encrypted format) to the cloud and ask the cloud to perform the clustering task on their combined data in a privacy-preserving manner. We term such a process as privacy-preserving and outsourced distributed clustering (PPODC). In this paper, we propose a novel and efficient solution to the PPODC problem based on k-means clustering algorithm. The main novelty of our solution lies in avoiding the secure division operations required in computing cluster centers altogether through an efficient transformation technique. Our solution builds the clusters securely in an iterative fashion and returns the final cluster centers to all entities when a pre-determined termination condition holds. The proposed solution protects data confidentiality of all the participating entities under the standard semi-honest model. To the best of our knowledge, ours is the first work to discuss and propose a comprehensive solution to the PPODC problem that incurs negligible cost on the participating entities. We theoretically estimate both the computation and communication costs of the proposed protocol and also demonstrate its practical value through experiments on a real dataset.

연구 동기 및 목표

• 계산 능력이 부족한 자원 제약 환경에서 사용자가 충분한 계산 능력을 확보하지 못하는 상황에서 프라이버시 보장형 분산 군집화(PPDC)의 과제를 해결한다.
• 기존 PPDC 솔루션의 높은 통신 및 계산 비용을 해결하기 위해 클라우드에 군집화 작업을 안전하게 외주할 수 있도록 한다.
• 두 대의 상호 신뢰할 수 없는 클라우드 제공자(예: 아마존 및 구글)를 포함한 피어드 클라우드 모델 하에서, 실용적이고 효율적이며 프라이버시를 보장하는 다중 사용자 k-means 군집화 솔루션을 개발한다.
• 모든 사용자의 데이터 기밀성을 군집화 과정 全 과정 동안 유지하며, 어느 시점에서도 복호화가 필요하지 않다.
• 강력한 프라이버시 보장을 유지하면서도 사용자 측 계산 오버헤드를 거의 0에 가깝게 줄여, 대규모 데이터셋에 대한 확장성과 효율성을 확보한다.

제안 방법

• 암호화된 데이터를 공동으로 처리할 수 있도록 두 대의 상호 신뢰할 수 없는 클라우드 서비스 제공자(예: 아마존 및 구글)를 포함한 피어드 클라우드 아키텍처를 활용한다.
• 새로운 변환 기법을 적용하여 암호화된 데이터 상에서 순서를 유지하는 유클리드 거리 함수를 구축함으로써, 보안 나눗셈 연산의 필요성을 제거한다.
• 동형 암호화와 보안 비교 프로토콜을 사용하여 군집 중심을 안전하게 계산하는 반복적 군집화 프로토콜을 설계한다.
• 군집 중심의 수렴을 기반으로 한 보안 종료 감지 메커니즘을 구현하며, 임계값 기반 검증을 통해 암호화된 데이터 상에서 평가한다.
• 군집화 과정을 단계별로 분해한다: (1) 안전한 데이터 집계 및 거리 계산, (2) 군집 할당, (3) 안전한 중심 재계산, (4) 수렴 검증.
• 클라우드 네이티브 병렬 처리 프레임워크(예: 스파크 또는 하이도프)를 활용하여 Stage 2의 레코드 수준 할당을 병렬화함으로써 성능을 최적화한다.

실험 결과

연구 질문

• RQ1 다수의 사용자로부터 온 암호화된 데이터 상에서 k-means 군집화를 수행할 수 있는 방법은 무엇인가, 이때 민감한 정보가 유출되지 않도록 보장할 수 있는가?
• RQ2 프라이버시 보장 군집화에서 보안 나눗셈 연산이 필요 없도록 하는 기법은 무엇이며, 이를 통해 계산 오버헤드를 어떻게 줄일 수 있는가?
• RQ3 두 대의 상호 신뢰할 수 없는 클라우드를 포함한 피어드 클라우드 모델이 사용자 측 계산을 최소화하면서도 효율적이고 프라이버시 보장된 군집화를 가능하게 할 수 있는가?
• RQ4 다양한 수의 레코드, 속성, 군집을 가진 대규모 데이터셋에 대해 제안된 프로토콜의 확장성과 성능 트레이드오프는 어떠한가?
• RQ5 군집화 파이프라인 내에서 독립적인 연산을 병렬화함으로써 프로토콜의 최적화는 어느 정도 가능할 수 있는가?

주요 결과

• 제안된 PPODC 프로토콜은 반신뢰 모델 하에서 모든 사용자의 데이터 기밀성을 확보하며, 계산 과정 중에 어느 사용자 데이터도 폭 lộ되지 않음을 보장한다.
• 새로운 변환 기법을 통해 보안 나눗셈 연산을 완전히 제거함으로써, 이전 방법 대비 계산 복잡도를 크게 감소시켰다.
• 온라인 계산 시간은 데이터 레코드 수(m), 속성 수(l), 군집 수(k)에 비례하여 선형적으로 증가하며, m=6,000, l=10, k=8일 경우 36.14분이 소요된다.
• 총 계산 시간의 99% 이상이 Stage 2(군집 할당)에서 소요되며, 이는 레코드 수준에서 매우 병렬화 가능하다.
• 사용자 측 계산 비용은 극도로 낮으며, 밀리초 수준으로 측정되어 자원 제약 환경에 있는 최종 사용자에게 실용적이다.
• 스파크 또는 하이도프와 같은 클라우드 네이티브 프레임워크를 활용한 병렬화를 통해 프로토콜의 성능을 추가로 향상시킬 수 있으며, 이는 빅데이터 워크로드에 대한 확장성을 향상시킨다.