[논문 리뷰] Locally Differentially Private (Contextual) Bandits Learning

Kai Zheng, Tianle Cai외 3명|arXiv (Cornell University)|2020. 06. 01.

Advanced Bandit Algorithms Research참고 문헌 43인용 수 13

한 줄 요약

이 논문은 국소적 미분적 비밀유지(LDP) 상황에서 국소적으로 미분 가능한(Loaclly Differentially Private, LDP) 컨텍스트 밴디트에 대한 블랙박스 감소 프레임워크를 제안하며, 다양한 설정에서 개선된 리그레트 경계를 달성한다. 이는 LDP 하에서 다중 포인트 피드백 밴디트 볼록 최적화(Bandits Convex Optimization, BCO)에 대해 처음으로 $\frac{1}{2}$-리그레트 경계를 달성하고, 일반 선형 밴디트(GLB)로 확장하여 $\frac{3}{4}$-리그레트를 보이며, 컨텍스트 밴디트에서 LDP와 DP 사이의 근본적인 격차를 입증한다.

ABSTRACT

We study locally differentially private (LDP) bandits learning in this paper. First, we propose simple black-box reduction frameworks that can solve a large family of context-free bandits learning problems with LDP guarantee. Based on our frameworks, we can improve previous best results for private bandits learning with one-point feedback, such as private Bandits Convex Optimization, and obtain the first result for Bandits Convex Optimization (BCO) with multi-point feedback under LDP. LDP guarantee and black-box nature make our frameworks more attractive in real applications compared with previous specifically designed and relatively weaker differentially private (DP) context-free bandits algorithms. Further, we extend our $(\varepsilon, δ)$-LDP algorithm to Generalized Linear Bandits, which enjoys a sub-linear regret $ ilde{O}(T^{3/4}/\varepsilon)$ and is conjectured to be nearly optimal. Note that given the existing $Ω(T)$ lower bound for DP contextual linear bandits (Shariff & Sheffe, 2018), our result shows a fundamental difference between LDP and DP contextual bandits learning.

연구 동기 및 목표

• 국소적 미분적 비밀유지(LDP) 하에서 맥락 없는 밴디트와 컨텍스트 밴디트에 대한 일반적이고 프라이버시 보장 프레임워크의 부족을 해결하기 위해.
• 비공개 밴디트 학습과의 격차를 줄여 LDP 하에서 거의 최적의 리그레트를 달성하기 위해.
• 더 복잡하고 현실적인 컨텍스트 밴디트 모델인 일반 선형 밴디트(GLB)로 LDP 보장을 확장하기 위해.
• 컨텍스트 밴디트에서 LDP와 DP 사이의 근본적인 차이를 입증하기 위해, LDP는 DP보다 더 높은 리그레트를 초래한다.

제안 방법

• 비공개 밴디트 알고리즘을 최소한의 수정으로 LDP 준수 버전으로 변환할 수 있는 블랙박스 감소 프레임워크를 제안한다.
• 클라이언트 측에서 사용자 피드백과 맥락 벡터에 랜덤라이즈드 리스폰스와 노이즈 주입을 적용하여 LDP를 보장한다.
• 비밀유지 조건 하에서도 모델 정확도를 유지하기 위해 페어터드 데이터를 사용한 정규화된 최소 제곱 추정을 사용한다.
• 농도 불등식과 고확률 경계를 활용하여 노이즈 존재 하에서 추정 오차를 통제한다.
• 설계 행렬에 의해 유도되는 가중 내적 공간에서 추정 오차 분해와 노름 제어를 통해 리그레트 경계를 유도한다.
• LDP 하에서 정규화된 최소 제곱 해의 오차를 제한하기 위한 새로운 분석 기법을 도입하여 날카로운 리그레트 보장을 이끌어낸다.

실험 결과

연구 질문

• RQ1 비공개 밴디트 알고리즘을 LDP 준수로 변환할 수 있는 일반적이고 블랙박스 기반의 프레임워크를 설계할 수 있는가? 이때 성능 저하가 최소한이 되도록 할 수 있는가?
• RQ2 LDP 하에서 다중 포인트 피드백 BCO에 대해 달성 가능한 최적의 리그레트는 무엇인가?
• RQ3 LDP는 일반 선형 밴디트로 의미 있게 확장될 수 있으며, 어떤 리그레트 경계가 달성 가능한가?
• RQ4 기존에 알려진 DP의 $\tfrac{1}{2}$-리그레트 하한을 고려할 때, LDP 컨텍스트 밴디트의 리그레트는 DP 컨텍스트 밴디트와 어떻게 비교되는가?
• RQ5 LDP 일반 선형 밴디트에 대해 $\tfrac{3}{4}$-리그레트 경계는 거의 최적이 아닌가?

주요 결과

• 제안된 블랙박스 프레임워크는 $(\varepsilon,\delta)$-LDP 하에서 한 점 피드백 BCO에 대해 $\tfrac{3}{4}$-리그레트를 달성하며, 이는 이전 결과를 향상시킨다.
• LDP 하에서 다중 포인트 피드백 BCO에 대해 처음으로 $\tfrac{1}{2}$-리그레트 경계를 달성하였으며, 이는 비공개 최적 비율과 일치한다.
• 일반 선형 밴디트(GLB)의 경우, $(\varepsilon,\delta)$-LDP 하에서 $\tfrac{3}{4}$-리그레트를 달성하였으며, 이는 거의 최적일 것으로 추측된다.
• 분석 결과, LDP는 컨텍스트 밴디트에서 근본적인 제약을 초래하며, 리그레트는 $\tfrac{3}{4}$ 이하로 내려가지 못하는 것으로 밝혀졌다. 반면 비공개 설정에서는 $\tfrac{1}{2}$-리그레트가 가능하다.
• 논문은 LDP와 DP 사이의 중요한 차이를 규명한다: DP 컨텍스트 밴디트는 $\tfrac{1}{2}$-리그레트 하한을 갖지만, LDP 컨텍스트 밴디트는 $\tfrac{3}{4}$-리그레트 이하를 달성할 수 없으며, 이는 더 높은 프라이버시 비용을 의미한다.
• 이 프레임워크는 강력한 프라이버시 보장을 유지하면서 거의 최적의 리그레트를 달성하여, 민감한 사용자 데이터를 포함하는 실세계 응용에 적합하다.