[논문 리뷰] Differentially Private Bayesian Optimization

Matt J. Kusner, Jacob R. Gardner외 2명|PolyPublie (École Polytechnique de Montréal)|2015. 01. 16.

Privacy-Preserving Technologies in Data참고 문헌 45인용 수 24

한 줄 요약

이 논문은 민감한 검증 데이터가 사용될 때 기계학습 하이퍼파rameter 튜닝에서의 프라이버시 누출 문제를 해결하기 위해, 최적의 하이퍼파rameter와 검증 정확도를 프라이버시 보장하되 거의 최적의 성능을 유지하는 최초의 비차별적(private) 베이지안 최적화 프레임워크를 제안한다. 고정밀도 노이즈를 가우시안 프로세스(GP) 사후 평균에 주입하고, 가우시안 프로세스와 부드러움 조건에 기반한 비차별적 프라이버시 보장 기반으로, 강력한 프라이버시를 확보하면서 최적화 성능 손실를 제한한다.

ABSTRACT

Bayesian optimization is a powerful tool for fine-tuning the hyper-parameters of a wide variety of machine learning models. The success of machine learning has led practitioners in diverse real-world settings to learn classifiers for practical problems. As machine learning becomes commonplace, Bayesian optimization becomes an attractive method for practitioners to automate the process of classifier hyper-parameter tuning. A key observation is that the data used for tuning models in these settings is often sensitive. Certain data such as genetic predisposition, personal email statistics, and car accident history, if not properly private, may be at risk of being inferred from Bayesian optimization outputs. To address this, we introduce methods for releasing the best hyper-parameters and classifier accuracy privately. Leveraging the strong theoretical guarantees of differential privacy and known Bayesian optimization convergence bounds, we prove that under a GP assumption these private quantities are also near-optimal. Finally, even if this assumption is not satisfied, we can use different smoothness guarantees to protect privacy.

연구 동기 및 목표

• 민감한 검증 데이터가 사용될 때 기계학습 하이퍼파rameter 튜닝에서의 프라이버시 누출 문제를 해결하기 위해.
• 최적의 하이퍼파arameter와 검증 정확도를 프라이버시 보장하면서도 최적화 성능을 훼손하지 않도록 제공하는 방법을 개발하기 위해.
• 정확한 관측과 노이즈가 있는 관측 모두에서, 베이지안 최적화에 대해 증명 가능한 비차별적 프라이버시 보장을 제공하기 위해.
• 목적 함수에 대한 부드러움 조건(예: 유계 변동성 또는 리프시츠 연속성)을 가정하여, GP 가정을 초월한 프라이버시 보장을 확장하기 위해.

제안 방법

• 검증 성과 함수에 대해 가우시안 프로세스(GP) 사전분포를 활용하여 불확실성을 모델링하고 최적화를 이끌어내기 위해.
• 최적의 하이퍼파arameter 선택을 프라이버시 보장하기 위해 GP 사후 평균에 캘리브레이션된 노이즈를 추가함으로써 비차별적 프라이버시를 적용하기 위해.
• 베이지안 최적화의 수렴 한계를 활용하여, GP 가정 하에서 프라이빗 출력이 거의 최적임을 보여주기 위해.
• 데이터셋 변형에 따른 GP 사후 평균의 민감도 분석을 통해 프라이버시 보장을 수립하기 위해.
• 목적 함수에 대한 부드러움 조건(예: 유계 변동성 또는 리프시츠 연속성)을 가정하여 비-GP 설정으로 결과를 확장하기 위해.
• 탐색과 이용의 균형을 유지하면서도 비차별적 프라이버시를 유지하는 프라이버시 보존형 획득 함수를 유도하기 위해.

실험 결과

연구 질문

• RQ1 하이퍼파arameter 튜닝에서 베이지안 최적화를 비차별적으로 만들 수 있을까? 이때 성능 손실는 거의 최적의 수준을 유지할 수 있을까?
• RQ2 민감한 데이터를暴露하지 않고 최적의 하이퍼파arameter와 검증 정확도를 어떻게 프라이버시 보장하여 공유할 수 있을까?
• RQ3 베이지안 최적화에 비차별적 프라이버시를 적용할 경우 성능 손실의 이론적 한계는 무엇인가?
• RQ4 목적 함수가 GP에서 유래되지 않더라도 프라이버시 보장이 유지될 수 있을까?
• RQ5 노이즈 스케일의 선택이 프라이버시와 최적화 정확도 사이의 트레이드오프에 어떻게 영향을 미칠까?

주요 결과

• 제안된 방법은 GP 가정 하에서 최적의 하이퍼파arameter와 검증 정확도의 (ε, δ)-비차별적 프라이버시 보장을 달성한다.
• 프라이버시화로 인한 성능 손실는 유계이며, 베이지안 최적화 수렴 한계로부터 도출된 이론적 보장 하에 거의 최적의 수준을 유지한다.
• GP 가정 없이도, 목적 함수의 유계 변동성 또는 리프시츠 연속성과 같은 부드러움 조건 하에서는 비차별적 프라이버시가 유지된다.
• 정확한 관측과 노이즈가 있는 관측 모두를 지원하여, 측정 노이즈가 존재하는 실제 기계학습 환경에 적용 가능하다.
• 의료 및 금융과 같은 민감한 도메인에서 모델 튜닝 결과를 개인 프라이버시를 훼손하지 않고도 프라이버시 보장하에 공유할 수 있다.
• 이 방법은 이전의 비차별적 볼록 최적화 연구를 확장하여, 베이지안 최적화를 통한 글로벌 블랙박스 최적화에서 증명 가능한 비차별적 프라이버시 보장을 제공하는 최초의 접근법이다.