[논문 리뷰] Private Outsourced Bayesian Optimization

Dmitrii Kharkovskii, Zhongxiang Dai외 1명|arXiv (Cornell University)|2020. 10. 24.

Gaussian Processes and Bayesian Inference인용 수 9

한 줄 요약

이 논문은 증명 가능한 손실 보장이 있는 외주화된 환경을 위한 사생활 보호 베이지안 최적화 알고리즘인 PO-GP-UCB를 소개한다. 이 알고리즘은 민감한 데이터를 변환하면서도 입력 간의 거리를 유지하기 위해 무작위 투영을 사용하여, 모델러가 기존 데이터에 접근하지 않고도 사생활을 해칠 염려 없이 최적화를 수행할 수 있도록 한다.

ABSTRACT

This paper presents the private-outsourced-Gaussian process-upper confidence bound (PO-GP-UCB) algorithm, which is the first algorithm for privacy-preserving Bayesian optimization (BO) in the outsourced setting with a provable performance guarantee. We consider the outsourced setting where the entity holding the dataset and the entity performing BO are represented by different parties, and the dataset cannot be released non-privately. For example, a hospital holds a dataset of sensitive medical records and outsources the BO task on this dataset to an industrial AI company. The key idea of our approach is to make the BO performance of our algorithm similar to that of non-private GP-UCB run using the original dataset, which is achieved by using a random projection-based transformation that preserves both privacy and the pairwise distances between inputs. Our main theoretical contribution is to show that a regret bound similar to that of the standard GP-UCB algorithm can be established for our PO-GP-UCB algorithm. We empirically evaluate the performance of our PO-GP-UCB algorithm with synthetic and real-world datasets.

연구 동기 및 목표

• 데이터 관리자와 모델러가 별개의 당사자인 외주화된 환경에서 사생활 보호 베이지안 최적화의 부재를 해결한다.
• 비공개 데이터에 적용했을 때 베이지안 최적화의 성능이 비공개가 아닌 GP-UCB에 비해 크게 떨어지지 않도록 보장한다.
• 차별적 비밀보장 조건 하에서 제안된 알고리즘의 이론적 손실 경계를 제공한다.
• 직접 데이터를 공유할 수 없는 민감한 분야(예: 헬스케어, 금융, 부동산)에서의 실용적 구현을 가능하게 한다.
• 사생활 보호와 입력 데이터의 기하학적 구조를 유지함으로써 최적화의 정밀도를 확보하는 변환 기법을 설계한다.

제안 방법

• 외주화된 환경에서 사생활 보호 베이지안 최적화를 위한 비공개-외주화된 가우시안 프로세스-상한 신뢰도 기반 알고리즘(PO-GP-UCB)을 제안한다.
• 원본 데이터 세트를 무작위 투영을 통해 사생활 보호된 형태로 변환하여 입력 간의 쌍별 거리를 유지한다.
• Johnson-Lindenstrauss 보조정리를 적용하여 투영된 데이터가 효과적인 GP-UCB 최적화를 위해 충분한 구조를 유지하도록 보장한다.
• 무작위 투영을 통해 차별적 비밀보장을 통합하여 개인 데이터 포인트에 대한 추론 가능성을 제한하면서도 유용성을 유지한다.
• 기존 GP-UCB와 유사한 형태의 이론적 손실 경계를 PO-GP-UCB에 대해 확립한다.
• 모델러가 원본 데이터 세트나 커리터의 데이터에 대한 전체 지식 없이도 변환된 데이터에서 최적화를 수행할 수 있도록 보장한다.

실험 결과

연구 질문

• RQ1 데이터 관리자와 모델러가 별개의 실체인 외주화된 환경에서 사생활 보호 베이지안 최적화 알고리즘을 설계할 수 있는가?
• RQ2 무작위 투영이 차별적 비밀보장 하에서 GP-UCB 성능을 유지하기 위해 필요한 입력의 기하학적 구조를 유지하는가?
• RQ3 외주화된 환경에서 차별적 비밀보장이 적용된 베이지안 최적화 알고리즘에 대해 증명 가능한 손실 경계를 설정할 수 있는가?
• RQ4 비공개 GP-UCB와 비교해 PO-GP-UCB가 사생활 보호된 데이터에 적용되었을 때의 성능은 어떠한가?
• RQ5 외주화된 베이지안 최적화에서 사생활 보호, 데이터 유용성, 최적화 효율성 간의 상호 상충 관계는 어떠한가?

주요 결과

• PO-GP-UCB는 무작위 투영을 거친 사생활 보호된 데이터에 적용되었을 때조차도 표준 GP-UCB와 渐진적으로 유사한 손실 경계를 달성한다.
• 무작위 투영 기반 변환은 입력 간의 쌍별 거리를 유지하여 GP-UCB에 필요한 커널 구조가 거의 그대로 유지됨을 보장한다.
• 합성 및 실세계 데이터 세트에 대한 실험적 평가 결과, PO-GP-UCB는 비공개 GP-UCB와 비교해 경쟁적인 최적화 성능을 유지한다.
• 알고리즘은 설계상 차별적 비밀보장을 보장한다. 무작위 투영이 개인 데이터 포인트에 대한 추론 가능성을 제한하는 보안 메커니즘으로 작용하기 때문이다.
• 이론적 분석을 통해 변환 후 역 공분산 행렬의 최소 고유값이 유한하게 유지됨을 확인하여 안정적인 GP 추론을 뒷받침한다.
• 의료 기록 분석, 대출 리스크 평가, 부동산 가격 최적화와 같이 데이터 기밀성이 중요한 실제 응용 분야에 적용 가능하다.