[논문 리뷰] Differential Privacy for Functions and Functional Data

Rob Hall, Alessandro Rinaldo외 1명|arXiv (Cornell University)|2012. 03. 12.

Privacy-Preserving Technologies in Data참고 문헌 34인용 수 93

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)에서 함수의 민감도에 따라 캘리브레이션된 가우시안 프로세스 노이즈를 추가하여, 밀도 추정기나 분류 함수와 같은 함수를 공개할 때 차별적 프라이버시를 달성하는 프레임워크를 제안한다. 주요 기여는 노이즈 프로세스와 동일한 RKHS에 속한 함수의 경우, 노이즈 분산을 함수 민감도의 RKHS 노름에 비례하도록 설정함으로써 차별적 프라이버시가 달성됨을 보여주는 것이다. 이를 통해 공식적인 프라이버시 보장을 갖는 사전 프라이빗 커널 밀도 추정과 커널 SVM을 가능하게 한다.

ABSTRACT

Differential privacy is a framework for privately releasing summaries of a database. Previous work has focused mainly on methods for which the output is a finite dimensional vector, or an element of some discrete set. We develop methods for releasing functions while preserving differential privacy. Specifically, we show that adding an appropriate Gaussian process to the function of interest yields differential privacy. When the functions lie in the same RKHS as the Gaussian process, then the correct noise level is established by measuring the "sensitivity" of the function in the RKHS norm. As examples we consider kernel density estimation, kernel support vector machines, and functions in reproducing kernel Hilbert spaces.

연구 동기 및 목표

• 유한 차원 벡터에서 함수 값 출력으로의 차별적 프라이버시 확장, 특히 기능 데이터 분석 설정에서의 적용.
• RKHS 노름을 사용한 함수의 민감도 개념을 정식화하여, 프라이버시 보장된 함수 공개를 가능하게 한다.
• RKHS 민감도에 노이즈를 캘리브레이션하여, 프라이빗 커널 밀도 추정기와 커널 SVM을 실용적으로 공개하는 방법을 개발한다.
• 함수 민감도의 RKHS 노름에 비례하는 분산을 갖는 가우시안 프로세스를 추가하면 (α, β)-차별적 프라이버시가 보장됨을 입증한다.
• 배치 및 온라인 함수 공개 모두에 대해 계산적으로 실현 가능한 프라이버시 보장 프레임워크를 제공한다.

제안 방법

• 알려진 공분산 커널을 갖는 가우시안 프로세스를 사용하여 관심 함수에 노이즈를 추가함으로써 차별적 프라이버시를 확보한다.
• 이웃한 데이터베이스에서 함수 출력의 차이의 RKHS 노름의 Supremum으로 정의된 함수 민감도의 RKHS 노름에 따라 노이즈 수준을 캘리브레이션한다.
• 추정된 함수와 노이즈 프로세스가 동일한 RKHS를 공유하도록 함으로써, 커널 밀도 추정과 커널 SVM에 이 방법을 적용한다.
• 온라인 설정에서 조건부 분포를 효율적으로 계산하기 위해 행렬 역행렬 보조정리와 슈어 보조정리를 활용한다. 이를 통해 프라이버시 보장된 실시간 함수 평가가 가능해진다.
• 조건부 평균과 조건부 분산 계산에서 발생하는 희소성의 특성을 활용하기 위해 특정한 지수 커널 K(x,y) = exp(−γ|x−y|)를 사용하여 효율적인 온라인 업데이트를 가능하게 한다.
• 배치 및 온라인 공개 프rotocol을 모두 구현한다: 배치에서는 다변량 가우시안에서 샘플링하고, 온라인에서는 가우시안 프로세스의 사후 분포를 순차적으로 업데이트한다.

실험 결과

연구 질문

• RQ1 차별적 프라이버시를 유한 차원 벡터에서 함수 값 출력으로 공식적으로 확장할 수 있는가? 즉, 단지 유한 차원의 벡터나 스칼라가 아닌 함수에 대해 말이다.
• RQ2 기능적 설정에서 함수의 적절한 민감도 개념은 무엇이며, 이를 어떻게 측정하여 프라이버시를 보장할 수 있는가?
• RQ3 커널 밀도 추정기나 커널 SVM과 같은 함수를 프라이버트하게 만들기 위해 가우시안 프로세스를 사용할 수 있는가? 이때 유용성은 유지되는가?
• RQ4 온라인 또는 상호작용 설정에서 프라이빗 함수를 공개하는 데 있어 계산적 실현 가능성은 어떠한가?
• RQ5 재생 커널 힐버트 공간(RKHS)에서 함수를 공개할 때, 프라이버시와 유용성의 균형을 최적화하기 위해 노이즈 수준을 어떻게 캘리브레이션할 수 있는가?

주요 결과

• 함수 민감도의 RKHS 노름에 비례하는 분산을 갖는 가우시안 프로세스를 추가하면, 함수 출력에 대해 (α, β)-차별적 프라이버시가 보장된다.
• 이 방법은 커널 밀도 추정에 대해 공식적인 프라이버시 보장을 달성하며, 이를 통해 합성 데이터 생성에 사용할 수 있는 프라이빗 밀도 함수를 공개할 수 있다.
• 커널 SVM의 경우, 분류 함수를 프라이버트하게 만들 수 있으며, 예측 성능을 유지할 수 있다.
• 온라인 설정에서는 행렬 역행렬 보조정리와 지수 커널에 의해 유도되는 희소성 덕분에, 새로운 점에서 프라이빗 함수의 조건부 분포를 효율적으로 계산할 수 있다.
• 계산 복잡도는 쿼리 수에 따라 증가하지만, 효율적인 데이터 구조(예: 정렬된 이중 연결 리스트)를 사용하면 각 쿼리당 업데이트 시간을 O(log i)로 줄일 수 있다.
• 이 프레임워크는 일반적이며, 민감도가 RKHS 노름에서 유계인 경우, 임의의 함수에 대해 소벨 공간 또는 RKHS에 속하는 함수에 적용 가능하다.