[논문 리뷰] Optimal query complexity for private sequential learning against eavesdropping

Jiaming Xu, Kuang Xu외 1명|arXiv (Cornell University)|2019. 09. 21.

Privacy-Preserving Technologies in Data참고 문헌 50인용 수 12

한 줄 요약

이 논문은 암호화된 이중 쿼리 쿼리 복잡도에 대해 최적의 하한과 상한을 확립한다. 여기서 학습자는 이중 쿼리를 사용하여 [0,1] 내의 알려지지 않은 스칼라를 추정하면서, 도청자가 오차 δ/2 이내로 값을 추측할 수 없도록 한다. 저자들은 학습과 혼란 유도를 분리한 단일 단계 전략을 도입하여, 모든 매개변수 영역에서 거의 최적의 복잡도를 달성한다. 또한 노이즈가 있는 응답과 고차원 설정으로의 확장도 포함한다.

ABSTRACT

We study the query complexity of a learner-private sequential learning problem, motivated by the privacy and security concerns due to eavesdropping that arise in practical applications such as pricing and Federated Learning. A learner tries to estimate an unknown scalar value, by sequentially querying an external database and receiving binary responses; meanwhile, a third-party adversary observes the learner's queries but not the responses. The learner's goal is to design a querying strategy with the minimum number of queries (optimal query complexity) so that she can accurately estimate the true value, while the eavesdropping adversary even with the complete knowledge of her querying strategy cannot. We develop new querying strategies and analytical techniques and use them to prove tight upper and lower bounds on the optimal query complexity. The bounds almost match across the entire parameter range, substantially improving upon existing results. We thus obtain a complete picture of the optimal query complexity as a function of the estimation accuracy and the desired levels of privacy. We also extend the results to sequential learning models in higher dimensions, and where the binary responses are noisy. Our analysis leverages a crucial insight into the nature of private learning problem, which suggests that the query trajectory of an optimal learner can be divided into distinct phases that focus on pure learning versus learning and obfuscation, respectively.

연구 동기 및 목표

• 쿼리가 적대자에 의해 도청될 수 있는 상호작용 학습 시스템에서 학습자 프라이버시 보호의 격차를 메운다.
• 최소한의 쿼리로 알려지지 않은 스칼라를 추정하면서도, 적대자가 확률 >1/L로 δ/2 이내로 추정할 수 없도록 하는 비밀 보장 순차 학습 모델을 수립한다.
• 추정 정확도 ε와 프라이버시 수준 L에 대한 최적 쿼리 복잡도의 완전한 특성화를 달성한다.
• 고차원 설정과 노이즈가 있는 이중 응답으로 분석을 확장하여, 피어드레이티드 러닝과 같은 응용 분야의 실제 제약 조건을 반영한다.
• 근사적으로 일치하는 상한과 하한을 증명하기 위한 새로운 분석 기법을 개발하여, 기본적인 프라이버시-복잡도 상충 관계를 해결한다.

제안 방법

• 학습 과정을 순수 학습과 프라이버시 보호를 위한 혼란 유도를 위한 단계로 나누는 쿼리 전략을 설계한다.
• 대칭성과 베이지안 추론을 사용하여 두 대칭적 가설 X*=x와 X*=2mj−x 하에서의 가능도를 비교함으로써 적대자의 추정 오차 하한을 유도한다.
• 바타차리야 계수를 적용하여 두 가설 간의 최소 오차 확률을 제한하며, 응답 가능도의 분산을 활용한다.
• 제닝스 부등식을 사용하여 핵심 구간 내 평균 쿼리 수와 추정 오차 확률의 로그 감쇠 간의 관계를 유도한다.
• 프라이버시 및 정확도 제약 조건 하에 크기 δ/2인 부분 구간에서의 평균 쿼리 수를 분석하여 쿼리 복잡도에 대한 재귀적 하한을 유도한다.
• 노이즈가 있는 응답으로의 프레임워크 확장을 위해 베르누이 노이즈 모델(매개변수 p)을 통합하고, 복잡도가 c1(p)에 비례함을 보여준다. 이는 노이즈 수준의 함수이다.

실험 결과

연구 질문

• RQ1 정확도 ε와 프라이버시 수준 L이 주어졌을 때, 베이지안 및 결정론적 설정에서 학습자 비밀 보장 순차 학습의 최적 쿼리 복잡도는 무엇인가요?
• RQ2 적대자가 실패할 확률이 최소 1−1/L로 제약을 받을 때, 쿼리 복잡도는 ε과 δ에 대해 어떻게 스케일링되나요?
• RQ3 쿼리 전략은 학습과 혼란 유도의 분리된 단계로 분해될 수 있으며, 이러한 분해가 최적의 복잡도를 제공하는가요?
• RQ4 노이즈가 있는 응답이 존재할 경우 쿼리 복잡도에 어떤 영향을 미치며, 노이즈 매개변수 p에 따라 조정된 엄밀한 하한을 확립할 수 있는가요?
• RQ5 이중 피드백을 가진 순차 학습에서 쿼리 효율성과 프라이버시 사이의 기본 상충 관계는 무엇인가요?

주요 결과

• 논문은 전체 매개변수 범위에서 근사적으로 일치하는 상한과 하한을 확립하여, 상수 인자 범위 내에서 최적의 복잡도를 해결한다.
• 노이즈가 없는 경우, 최적 쿼리 복잡도는 δ ≥ 4ε일 때 Θ(L log(1/ε))이며, 정확도에 대해 로그적 의존성과 프라이버시 수준 L에 대해 선형 스케일링을 보인다.
• 노이즈가 있는 응답 모델에서는 복잡도가 노이즈 매개변수 p에만 의존하는 상수 배수로 일치하며, 비밀이 없는 순차 검색 결과와 유사하다.
• 분석 결과, 최적 전략은 정확한 학습 단계와 혼란 유도 단계로 자연스럽게 분리되며, 이는 프라이버시를 달성하는 데 핵심적이다.
• 하한 유도 과정에서 대칭성 원리와 바타차리야 계수를 사용하여, 어떤 적대자도 오차 확률이 ρ²/4 이하로 떨어지지 않음을 보여주며, 여기서 ρ는 대칭 구간 내 쿼리 겹침에 따라 달라진다.
• 최종 하한은 n ≥ (L / (2c₁(p))) log(M/8)로 표현되며, M은 가능한 값의 수이다. 이는 프라이버시가 쿼리 효율성에 기본적인 비용을 초래함을 확인한다.