[논문 리뷰] Differentially Private Gaussian Processes

Michael Thomas Smith, Max Zwiessele외 1명|arXiv (Cornell University)|2016. 06. 02.

Gaussian Processes and Bayesian Inference참고 문헌 21인용 수 8

한 줄 요약

이 논문은 학습 출력을 보호하면서 예측 정확도를 유지하는 차별적 비공식적 가우시안 프로세스 회귀 방법을 제안한다. 테스트 포인트 간 상관관계를 고려해 노이즈 공분산 구조를 설계함으로써, 기존 방법보다 더 효과적으로 DP 노이즈를 감소시키는 클로킹 방법을 통해 실제 데이터 실험에서 상당히 낮은 RMSE를 달성한다.

ABSTRACT

A major challenge for machine learning is increasing the availability of data while respecting the privacy of individuals. Here we combine the provable privacy guarantees of the differential privacy framework with the flexibility of Gaussian processes (GPs). We propose a method using GPs to provide differentially private (DP) regression. We then improve this method by crafting the DP noise covariance structure to efficiently protect the training data, while minimising the scale of the added noise. We find that this cloaking method achieves the greatest accuracy, while still providing privacy guarantees, and offers practical DP for regression over multi-dimensional inputs. Together these methods provide a starter toolkit for combining differential privacy and GPs.

연구 동기 및 목표

• 가우시안 프로세스 회귀에서 민감한 학습 출력(예: 소득, 피해자 정보 등)을 보호하면서도 예측 정확도를 유지하는 도전 과제를 해결하기 위해.
• 특히 출력이 민감한 경우에도 증명 가능한 차별적 비공식성 보장을 제공하는 GP 회귀 방법을 개발하기 위해.
• 테스트 포인트 예측의 상관관계 구조를 활용해 DP 노이즈의 규모를 줄여 개인정보 보호를 위한 노이즈 요구량을 감소시키기 위해.
• 비모수적 회귀에 가우시안 프로세스를 사용할 때 적용 가능한 실용적인 툴킷을 제공하기 위해.
• 유도 포인트와 적응형 노이즈 스케일링을 활용해 개인정보 비용을 추가로 최소화할 수 있는지 탐색하기 위해.

제안 방법

• 메커니즘을 사용해 GP 사후 평균에 DP 노이즈를 추가하며, 노이즈 규모는 평균이 학습 출력 변화에 대해 민감도에 의해 제한된다.
• 테스트 포인트의 알려진 위치를 바탕으로 노이즈 공분산을 구조화한 새로운 클로킹 방법을 도입하여, 예측 간 민감도를 최소화한다.
• 테스트 포인트 간 상관관계를 활용해 (ε, δ)-차별적 비공식성 유지 조건을 만족시키면서도 편향을 줄이기 위해 노이즈 공분산을 최적화한다.
• 학습 입력이 공개된 것으로 가정하여, GP 커널과 공분산 구조를 공개해도 개인정보가 유출되지 않음을 보장한다.
• 정적 및 비정적 커널을 모두 지원하며, 정적 조건이 필요하지 않다.
• 손상된 GP 사후분포에서 샘플링하거나, 임의의 쿼리에 대해 DP 준수 서버를 통해 예측을 공개할 수 있다.

실험 결과

연구 질문

• RQ1 학습 출력이 민감한 경우 가우시안 프로세스 회귀에 차별적 비공식성을 효과적으로 적용할 수 있는가?
• RQ2 노이즈 공분산의 구조화된 설계를 통해 GP 예측의 학습 출력 변화에 대한 민감도를 줄일 수 있는가?
• RQ3 제안된 클로킹 방법의 성능은 라플라스 노이즈를 사용하는 표준 DP 방법(예: 바이닝)과 비교해 어떻게 되는가?
• RQ4 데이터 밀도와 길이 척도에 기반한 적응형 노이즈 스케일링은 전체 개인정보 비용을 줄일 수 있는가?
• RQ5 유도 포인트를 사용함으로써 민감도와 DP 노이즈를 줄이는 데 어떤 영향을 미치는가?

주요 결과

• 클로킹 방법은 특히 중간에서 높은 개인정보 비용(ε > 1)에서 라플라스 노이즈를 사용하는 단순 바이닝보다 상당히 낮은 RMSE를 달성한다.
• DP 없이도 짧은 길이 척도 클로킹 방법이 가장 정확한 예측을 제공한다. 이는 미세한 공간적 구조를 잘 포착할 수 있기 때문이다.
• 단순 바이닝은 DP 노이즈가 증가함에 따라 급격히 성능이 떨어지며, 특히 점유율이 낮은 바이닝에서는 평균의 분산이 크기 때문이다.
• 클로킹 방법은 테스트 포인트 간 상관관계를 활용해 DP 노이즈를 감소시켜 더 정확하고 개인정보 보호에 적합한 예측을 가능하게 한다.
• 긴 길이 척도와 함께 사용할 경우 작은 ε 값에서도 이 방법은 효과적으로 유지되며, 더 많은 평균화가 가능해 민감도가 감소하기 때문이다.
• 비정적 길이 척도 또는 출력 별 적응형 노이즈 사용은 정확도를 유지하면서도 개인정보 비용을 추가로 줄일 수 있다.