[논문 리뷰] Differentially Private Regression and Classification with Sparse Gaussian Processes

Michael Thomas Smith, Mauricio A. Álvarez외 1명|arXiv (Cornell University)|2019. 09. 19.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 4

한 줄 요약

이 논문은 희소 근사와 수정된 최적화를 사용하여 가우시안 프로세스 회귀 및 분류를 위한 비밀유지 프레임워크를 제안한다. 기존 연구의 한계를 보완하기 위해 외곽값에 대한 민감도를 감소시키고, 유도점들을 통해 고차원 분류를 가능하게 하며, 지수 기반 메커니즘을 사용한 비밀유지 하이퍼파rameter 선택 방법을 도입하여 강건한 비밀유지와 정확한 예측을 달성한다.

ABSTRACT

A continuing challenge for machine learning is providing methods to perform computation on data while ensuring the data remains private. In this paper we build on the provable privacy guarantees of differential privacy which has been combined with Gaussian processes through the previously published \emph{cloaking method}. In this paper we solve several shortcomings of this method, starting with the problem of predictions in regions with low data density. We experiment with the use of inducing points to provide a sparse approximation and show that these can provide robust differential privacy in outlier areas and at higher dimensions. We then look at classification, and modify the Laplace approximation approach to provide differentially private predictions. We then combine this with the sparse approximation and demonstrate the capability to perform classification in high dimensions. We finally explore the issue of hyperparameter selection and develop a method for their private selection. This paper and associated libraries provide a robust toolkit for combining differential privacy and GPs in a practical manner.

연구 동기 및 목표

• 기존 비밀유지 가우시안 프로세스 방법의 외곽값 및 고차원 데이터에 대한 취약성을 해결한다.
• 수정된 라플라스 근사를 사용하여 비밀유지 학습을 회귀에서 분류로 확장한다.
• 차별적 비밀유지와 호환되는 비밀유지 하이퍼파rameter 최적화 전략을 개발한다.
• 희소 근사를 통해 고차원 데이터셋에서 실용적인 비밀유지 가우시안 프로세스의 구현을 가능하게 한다.
• 예측 정확도를 유지하면서도 모든 작업에서 증명 가능한 비밀유지 보장을 확보한다.

제안 방법

• 후행 평균 예측에서 외곽값의 영향을 줄이기 위해 비정상성 공분산 함수를 도입한다.
• 유도점을 사용한 희소 GP 근사를 적용하여 고차원 및 밀도가 낮은 영역에서의 확장성과 강건성을 향상시킨다.
• 분류 작업을 위해 최적화 목표를 흐리게 조작하여 차별적 비밀유지를 보장하는 수정된 라플라스 근사를 적용한다.
• 비밀유지 지수 기반 메커니즘을 사용하여 모델 구성에 대한 격자 탐색을 통해 비밀유지 하이퍼파rameter 선택을 수행한다.
• 희소 근사를 비밀유지 분류 프레임워크와 통합하여 고차원 환경에서 효율적이고 비밀유지된 추론을 가능하게 한다.
• 후행 평균과 최적화 단계에 보정된 노이즈를 추가함으로써 (ε, δ)-차별적 비밀유지를 유지한다.

실험 결과

연구 질문

• RQ1 이 분야에 사전 연구가 부족한 바를 감안할 때, 어떻게 비밀유지 가우시안 프로세스 분류에 효과적으로 적용할 수 있는가?
• RQ2 희소 GP 근사는 고차원 및 외곽값에 민감한 영역에서 비밀유지 회귀의 강건성을 향상시킬 수 있는가?
• RQ3 비정상성 커널이 비밀유지 예측의 외곽값 민감도에 미치는 영향은 무엇인가?
• RQ4 모델의 비밀유지 보장을 해치지 않으면서 하이퍼파rameter를 어떻게 비밀유지적으로 선택할 수 있는가?
• RQ5 희소 근사와 비밀유지 최적화의 조합이 고차원 분류 작업에서 예측 정확도를 어느 정도 유지하는가?

주요 결과

• 희소 GP 근사는 비밀유지 예측에서 외곽값의 영향을 크게 감소시켜 밀도가 낮은 영역에서의 안정성을 향상시킨다.
• 수정된 라플라스 근사를 사용한 제안된 비밀유지 분류 방법은 비교적 적은 수의 학습 데이터로도 유의미한 예측 정확도를 달성한다.
• 지수 기반 메커니즘을 통한 비밀유지 하이퍼파라미터 선택은 높은 성능을 보이는 구성 요소를 성공적으로 식별하였으며, 상위 4개 구성 요소의 확률이 0.023 이상이었다.
• 학습 및 하이퍼파라미터 튜닝을 포함한 모든 구성 요소에서 비밀유지를 유지하였으며, 비밀유지 예산을 철저히 추적하였다.
• 실험 결과, 엄격한 비밀유지 제약 조건 하에서도 테스트 데이터의 RMSE가 낮게 유지됨(예: 16.06–18.14)을 확인하여 강력한 일반화 능력을 입증하였다.
• 이 프레임워크는 기존 비희소 접근 방식이 고차원에서 실패한 점을 고려할 때 고차원 데이터에서의 비밀유지 학습을 가능하게 하였다.