[논문 리뷰] Optimal Query Complexity of Secure Stochastic Convex Optimization

Wei Tang, Chien-Ju Ho외 1명|arXiv (Cornell University)|2021. 04. 05.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 쿼리 포인트만을 관찰하는 적대자로부터 학습자의 프라이버시를 보호하는 확률적 볼록 최적화를 위한 보안 학습 프로토콜을 제안한다. 도메인을 분할한 영역에서 균일한 랜덤 쿼리와 효율적인 최적화 서브루틴을 결합함으로써, 로그 인자까지 최적의 쿼리 복잡도를 달성하며, 오류 유형에 대한 공식적인 PAC 스타일 보장 하에 정확성과 프라이버시를 균형 있게 유지한다.

ABSTRACT

We study the secure stochastic convex optimization problem. A learner aims to learn the optimal point of a convex function through sequentially querying a (stochastic) gradient oracle. In the meantime, there exists an adversary who aims to free-ride and infer the learning outcome of the learner from observing the learner's queries. The adversary observes only the points of the queries but not the feedback from the oracle. The goal of the learner is to optimize the accuracy, i.e., obtaining an accurate estimate of the optimal point, while securing her privacy, i.e., making it difficult for the adversary to infer the optimal point. We formally quantify this tradeoff between learner's accuracy and privacy and characterize the lower and upper bounds on the learner's query complexity as a function of desired levels of accuracy and privacy. For the analysis of lower bounds, we provide a general template based on information theoretical analysis and then tailor the template to several families of problems, including stochastic convex optimization and (noisy) binary search. We also present a generic secure learning protocol that achieves the matching upper bound up to logarithmic factors.

연구 동기 및 목표

• 학습자의 정확성과 프라이버시 사이의 트레이드오프를 확률적 볼록 최적화에서 적대자에 의해 쿼리 포인트가 관찰되는 조건 하에 공식화하기.
• PAC 스타일 정의를 사용하여 원하는 정확도와 프라이버시 수준을 달성하기 위해 필요한 쿼리 복잡도를 특성화하기.
• 로그 인자까지 최적의 쿼리 복잡도 상한을 달성하는 보안 학습 프로토콜을 개발하기.
• 보안 최적화를 위한 정보 이론적 하한을 더 넓은 문제 가족, 특히 노이즈가 있는 이진 탐색에까지 일반화하기.
• 쿼리 복잡도가 프라이버시 파라미터, 특히 $\delta^{\rm adv}$에 어떻게 의존하는지 분석하고, 이는 프라이버시를 위한 必要한 복잡도 프리미엄임을 보여주기.

제안 방법

• 볼록 최적화 문제에 대한 쿼리 복잡도 하한을 유도하기 위한 일반적인 정보 이론적 틀을 개발한다.
• 보안 학습 프로토콜은 도메인 $[0,1]$을 $\lfloor 1/\delta^{\rm adv} \rfloor$개의 하위구간으로 분할하며, 각 하위구간의 길이는 $\delta^{\rm adv}$이며, 이를 통해 구간 간 랜덤화를 보장한다.
• 각 단계에서 학습자는 각 하위구간에 대해 한 번의 쿼리를 제출하며, 한 쿼리는 비보안적이지만 효율적인 최적화 서브루틴을 통해 업데이트된다.
• 프라이버시를 위해 균일한 랜덤 쿼리 전략을 사용하고, 정확성을 위해 적응형 최적화를 결합함으로써, 어떤 적대자 전략에도 저항력을 확보한다.
• 수렴 속도는 Tsitsiklis 등에 의해 영감을 얻은 복제된 이분법 전략을 활용하며, 이를 프라이버시에 적합하도록 조정한다.
• 프로토콜은 고확률적으로 $\tilde{\mathcal{O}}\big{(}(T\delta^{\rm adv})^{-\frac{\kappa}{2\kappa-2}}\big{)}$의 함수 오차와 $\tilde{\mathcal{O}}\big{(}(T\delta^{\rm adv})^{-\frac{1}{2\kappa-2}}\big{)}$의 점 오차를 달성함을 증명한다.

실험 결과

연구 질문

• RQ1 보안적 확률적 볼록 최적화에서 주어진 정확도와 프라이버시 수준을 달성하기 위해 필요한 최소 쿼리 수는 얼마인가?
• RQ2 쿼리 복잡도는 프라이버시 파라미터 $\delta^{\rm adv}$와 정확도 $\epsilon$에 따라 어떻게 스케일링되는가?
• RQ3 일반적인 정보 이론적 틀을 사용하여 볼록 최적화와 개인 정보 보호 이진 탐색 문제 양쪽에 하한을 도출할 수 있는가?
• RQ4 로그 인자까지 최적의 쿼리 복잡도를 달성하는 보안 학습 프로토콜이 존재하는가?
• RQ5 보안 프로토콜은 어떻게 고정된 최적화 정확도를 유지하면서 프라이버시를 유지하는가?

주요 결과

• κ-균일하게 볼록인 함수에 대해, 함수 오차의 경우 쿼리 복잡도는 $\Theta\left(1/(\delta^{\rm adv} \epsilon^{(2\kappa-2)/\kappa})\right)$이며, 로그 인자까지 하한과 상한이 일치한다.
• 점 오차의 경우 쿼리 복잡도는 $\Theta\left(1/(\delta^{\rm adv} \epsilon^{2\kappa-2})\right)$이며, 다시 한번 로그 인자까지 하한과 상한이 일치한다.
• 하한 분석은 볼록 최적화와 개인 정보 보호 이진 탐색 문제에 모두 적용 가능한 정보 이론적 틀을 통해 일반화되었다.
• 보안 학습 프로토콜은 하한과 동일한 渐近적 쿼리 복잡도를 달성함으로써 유도된 하한의 정확성을 입증한다.
• 프로토콜은 $\lfloor 1/\delta^{\rm adv} \rfloor$개의 구간에 걸친 랜덤화로 인해 $\epsilon^{\rm adv}$를 초과한 추론을 방지하므로, 어떤 적대자 전략에 대해서도 프라이버시를 유지한다.
• 당신의 결과는 $\delta^{\rm adv} \to 1$일 때 고전적 볼록 최적화 복잡도 하한을 복원하며, 이는 프라이버시 비용이 정확히 $\Theta(1/\delta^{\rm adv})$임을 보여준다.