[논문 리뷰] Query Complexity of Bayesian Private Learning

Kuang Xu|arXiv (Cornell University)|2019. 11. 15.

Machine Learning and Algorithms인용 수 13

한 줄 요약

이 논문은 베이지안 사생활 보호 학습에서 쿼리 복잡도에 대한 날카운 하한을 확립하며, 적어도 $\varepsilon$-정확도를 확보하면서도 적대자에 의한 추정 오차를 $\delta$ 이하로 제한할 확률이 $1/L$ 이하일 경우, 학습자가 $\Theta(L\log(1/\varepsilon))$개의 쿼리가 필요하다는 것을 보여준다. 이 결과는 Fano의 부등식과 비례 샘플링 기반 적대자 추정기법을 통해 증명된 다중적 사생활 비용 교환 관계를 드러낸다.

ABSTRACT

We study the query complexity of Bayesian Private Learning: a learner wishes to locate a random target within an interval by submitting queries, in the presence of an adversary who observes all of her queries but not the responses. How many queries are necessary and sufficient in order for the learner to accurately estimate the target, while simultaneously concealing the target from the adversary? Our main result is a query complexity lower bound that is tight up to the first order. We show that if the learner wants to estimate the target within an error of $\varepsilon$, while ensuring that no adversary estimator can achieve a constant additive error with probability greater than $1/L$, then the query complexity is on the order of $L\log(1/\varepsilon)$, as $\varepsilon o 0$. Our result demonstrates that increased privacy, as captured by $L$, comes at the expense of a {multiplicative} increase in query complexity. Our proof method builds on Fano's inequality and a family of proportional-sampling estimators. As an illustration of the method's wider applicability, we generalize the complexity lower bound to settings involving high-dimensional linear query learning and partial adversary observation.

연구 동기 및 목표

• 적대적 관찰 조건 하에서 활성 학습에서 쿼리 효율성과 사생활 보호 간의 교환 관계를 정량화하기 위해.
• 학습자가 목표를 $\varepsilon$ 이내 오차로 추정하면서도 적대자가 이를 $\delta$ 이내로 추정할 확률이 초과되지 않도록 하기 위해 필요한 최소 쿼리 수를 규명하기 위해.
• 쿼리 복잡도 증가에 따른 사생활 비용 측정치인 $L$을 기반으로 사생활 비용의 형식화 및 분석을 위해.
• 날카운 하한을 확립하기 위해 비례 샘플링 기반의 적대자 추정기 가족을 개발하고 분석하기 위해.
• 고차원 선형 쿼리 및 부분적 적대자 관찰 설정으로 하한을 확장하기 위해.

제안 방법

• 학습자가 적응형 쿼리를 사용하고, 목표가 $[0,1)$에서 균일 분포를 가지며, 노이즈 없는 이진 응답을 제공하는 베이지안 사생활 보호 학습 모델을 정의한다.
• 쿼리 복잡도에 대한 하한을 유도하기 위해 핵심 정보이론적 도구로 Fano의 부등식을 사용한다.
• 적대자가 행동-정보 근접성의 특성을 활용하는 비례 샘플링 추정기 가족을 도입한다.
• 이러한 추정기 하에서 적대자의 추정 오차를 분석함으로써 하한을 구성하며, 성공 확률이 $1/L$ 이하로 제한됨을 보여준다.
• 비례 샘플링 프레임워크를 변형하여 고차원 선형 쿼리 및 부분적 관찰 설정으로 증명을 확장한다.
• Tsitsiklis 등(2018)의 기존 상한과의 비교를 통해 하한의 날카움을 입증한다.

실험 결과

연구 질문

• RQ1 학습자가 목표를 $\varepsilon$ 이내 오차로 추정하면서도, 적대자가 이를 $\delta$ 이내로 추정할 확률이 $1/L$ 초과되지 않도록 하기 위해 필요한 최소 쿼리 수는 얼마인가?
• RQ2 베이지안 사생활 보호 학습에서 사생활 파rameter인 $L$은 쿼리 복잡도에 어떤 영향을 미치는가?
• RQ3 비례 샘플링 기반의 적대자 추정기 가족은 어떤 학습자 전략에 대비하여 최적 성능을 달성할 수 있는가?
• RQ4 고차원 또는 부분적 관찰 설정 하에서 쿼리 복잡도에 대한 $L$의 곱셈적 의존성은 유지되는가?
• RQ5 노이즈 있는 응답은 사생활 비용-교환 관계에 어떤 영향을 미치며, 하한은 노이즈 있는 쿼리 모델로 확장 가능한가?

주요 결과

• $\varepsilon \to 0$일 때 쿼리 복잡도는 $\Omega(L\log(1/\varepsilon))$로 하한이 존재하며, 이는 첫 번째 순서에서 날카롭다.
• 이 하한은 Tsitsiklis 등(2018)의 상한과 일치하여, $L\log(1/\varepsilon)$가 쿼리 복잡도에 대한 올바른 渐近적 스케일링임을 확인한다.
• 사생활 비용은 곱셈적이다: $L$을 증가시킴으로써(즉, 적대자의 성공 확률을 감소시킴으로써) 쿼리 복잡도는 $L$ 배로 증가한다.
• 비례 샘플링 추정기는 적대자에게 증명 가능하게 효과적이며, 학습자가 $L\log(1/\varepsilon)$개 이하의 쿼리를 사용할 경우 높은 추정 정확도를 달성한다.
• 고차원 선형 쿼리 모델 및 부분적 적대자 관찰 설정으로 하한을 확장할 수 있으나, 행동-정보 근접성의 약화로 인해 하한이 더 이상 날카롭지 않다.
• 분석 결과, 더 복잡한 설정에서 상한과 하한 간 격차를 줄이기 위해 비선형 가중치 적용 등의 보다 정교한 적대자 추정기법—예를 들어 하위 큐브의 민감도에 대한 비선형 가중치—이 효과적일 수 있음을 시사한다.