[논문 리뷰] Differentially Private Database Release via Kernel Mean Embeddings

Matej Balog, Ilya Tolstikhin외 1명|arXiv (Cornell University)|2017. 10. 04.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 8

한 줄 요약

이 논문은 재생 커널 힐버트 공간 (RKHS) 내에서 커널 평균 임bedding (KME)를 사용하여 비밀성 보장된 데이터베이스 배포를 위한 새로운 프레임워크를 제안한다. 진짜 데이터 분포의 KME를 근사하는 합성 데이터 포인트를 배포함으로써, 이 방법은 개인의 기밀을 보호하면서도 모집단 통계의 일致성 있는 추정을 가능하게 한다. 주요 기여는 RKHS 기반 정확도 제어를 통해 이론적으로 근거가 있는 접근법을 제공하여, 비밀성 보장과 통계적 일致성의 이중 목표를 달성하는 것이다.

ABSTRACT

We lay theoretical foundations for new database release mechanisms that allow third-parties to construct consistent estimators of population statistics, while ensuring that the privacy of each individual contributing to the database protected. The proposed framework rests on two main ideas. First, releasing (an estimate of) the kernel mean embedding of the data generating random variable instead of the database itself still allows third-parties to construct consistent estimators of a wide class of population statistics. Second, the algorithm can satisfy the definition of differential privacy by basing the released kernel mean embedding on entirely synthetic data points, while controlling accuracy through the metric available in a Reproducing Kernel Hilbert Space. We describe two instantiations of the proposed framework, suitable under different scenarios, and prove theoretical results guaranteeing differential privacy of the resulting algorithms and the consistency of estimators constructed from their outputs.

연구 동기 및 목표

• 전체 데이터베이스를 배포하면서 개인의 기밀을 보존하고 향후 통계적 추론을 가능하게 하는 도전 과제를 해결하기 위해.
• 제3자가 배포된 데이터로부터 모집단 통계의 일관된 추정자들을 구성할 수 있도록 하는 프레임워크를 개발하기 위해.
• 요약 통계나 모델 출력에 의존하지 않고, 오히려 기초 데이터 표현을 보호함으로써 비밀성 보장을 확보하기 위해.
• 다양한 데이터 유형에 적용 가능한 통합적이고 수학적으로 타당한 방법을 제공하기 위해, RKHS 기반 KME를 통해.

제안 방법

• 데이터베이스를 재생 커널 힐버트 공간 (RKHS) 내에서 커널 평균 임bedding (KME)로 표현하여, 데이터의 풍부한 통계적 성질을 포괄한다.
• 기존 데이터가 아닌 합성 데이터 포인트를 사용하여, 진짜 KME를 근사하는 입력 공간 내의 데이터 포인트를 생성함으로써 합성 데이터베이스를 구성한다. 이는 감소된 집합 방법을 활용한다.
• 기본적으로 기존의 비밀 데이터가 아닌 완전히 합성된 데이터 포인트에 기반하여 배포된 KME를 통해 비밀성 보장을 확보한다.
• RKHS 노름을 통해 정확도를 제어하며, 이는 근사 오차를 측정하는 타당한 척도를 제공한다.
• 두 가지 알고리즘 구현을 사용한다: 하나는 넓은 가우시안에서 합성 포인트를 샘플링하는 방식 (알고리즘 1), 另一个是 볼록 최적화를 통해 포인트 위치를 최적화하는 방식 (알고리즘 2).
• 두 알고리즘이 (ε, δ)-비밀성 보장에 부합하고, 그 출력물로부터 생성된 추정자들이 모집단 통계에 대해 일관적이게 된다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 RKHS 내에서 커널 평균 임bedding는 전체 데이터베이스 배포를 위한 충분하고도 비밀성 보호 가능한 중간 표현으로 기능할 수 있는가?
• RQ2 KME를 근사하는 합성 데이터를 배포할 때 비밀성 보장을 공식적으로 보장할 수 있는가?
• RQ3 배포된 합성 데이터로부터 모집단 통계의 일관된 추정자를 구성할 수 있는가?
• RQ4 추정자의 수렴 속도는 합성 데이터 포인트의 수와 비밀성 파rameter에 따라 어떻게 달라지는가?
• RQ5 데이터베이스의 일부가 이미 공개되어 있는 경우에도 이 프레임워크가 적용 가능한가?

주요 결과

• 제안된 프레임워크는 기존의 비밀 데이터를 사용하지 않고도 진짜 커널 평균 임bedding를 근사하는 합성 데이터 포인트를 배포함으로써 (ε, δ)-비밀성 보장을 확보한다.
• 알고리즘 1과 알고리즘 2 모두 진짜 KME에 대해 일관된 추정자를 생성하며, 이들의 수렴 속도는 합성 데이터 포인트의 수와 커널 선택에 따라 달라진다.
• 알고리즘 2는 최적화된 합성 포인트 위치 덕분에 알고리즘 1보다 진짜 KME와의 RKHS 거리에서 더 우수한 성능을 보이며, 성능은 최적화 절차에 따라 달라진다.
• 실험 결과는 합성 데이터 포인트의 수가 증가할수록 RKHS 거리가 감소하고, 비밀성 예산(ε)이 높아질수록 증가함을 보여준다.
• 합성 데이터 포인트가 서로 독립적이지 않더라도, 일관된 KME 추정자가 구성될 수 있다면 프레임워크는 여전히 유효하다.
• 이 방법은 두 샘플 검정 및 MMD 추정과 같은 작업에 대해 합성 데이터베이스를 반복적으로, 무제한으로 사용할 수 있으며, 비밀성 손실 없이도 가능하다.