[논문 리뷰] Differentially Private Contextual Linear Bandits

Roshan Shariff, Or Sheffet|arXiv (Cornell University)|2018. 01. 01.

Privacy-Preserving Technologies in Data인용 수 30

한 줄 요약

이 논문은 맥락적 선형 밴디트에 대한 공동 미분적 비밀유지 프레임워크를 제안하며, 비밀성이 현재 일자의 행동에는 적용되지 않고 오직 향후로만 적용된다. 트리 기반 메커니즘과 가우시안 또는 위샤르트 노이즈를 활용하여 선형-UCB 알고리즘을 변형함으로써, 비밀유지 조건 하에서도 유한한 재해를 달성하며, MAB 문제에서 비밀성으로 인한 추가 재해에 대한 첫 번째 하한을 확립한다.

ABSTRACT

We study the contextual linear bandit problem, a version of the standard stochastic multi-armed bandit (MAB) problem where a learner sequentially selects actions to maximize a reward which depends also on a user provided per-round context. Though the context is chosen arbitrarily or adversarially, the reward is assumed to be a stochastic function of a feature vector that encodes the context and selected action. Our goal is to devise private learners for the contextual linear bandit problem. We first show that using the standard definition of differential privacy results in linear regret. So instead, we adopt the notion of joint differential privacy, where we assume that the action chosen on day t is only revealed to user t and thus needn't be kept private that day, only on following days. We give a general scheme converting the classic linear-UCB algorithm into a joint differentially private algorithm using the tree-based algorithm. We then apply either Gaussian noise or Wishart noise to achieve joint-differentially private algorithms and bound the resulting algorithms' regrets. In addition, we give the first lower bound on the additional regret any private algorithms for the MAB problem must incur.

연구 동기 및 목표

• 맥락이 악성일 때와 보상이 확률적일 때 사용자 비밀유지를 유지하는 맥락적 선형 밴디트 설정에서의 도전 과제를 해결하기 위해.
• 표준적인 미분적 비밀성이 맥락적 선형 밴디트에서 선형 재해를 초래함으로써 실용적 사용에 비효율적임을 보여주기 위해.
• 행동가지가 현재 일자에 노출되는 것보다 미래에 대한 유출에만 보호되는 새로운 비밀유지 개념인 공동 미분적 비밀유지( joint differential privacy)를 제안하기 위해.
• 표준 선형-UCB를 트리 기반 메커니즘을 사용해 공동 미분적 비밀유지 알고리즘으로 변환하는 일반적인 변환 체계를 설계하기 위해.
• 다중 암드 밴디트 설정에서 어떤 비밀유지 알고리즘도 초래하는 추가 재해에 대한 첫 이론적 하한을 확립하기 위해.

제안 방법

• 행동가지가 일자 t에서 선택된 이후 일자 t+1부터의 정보에 대해서만 비밀성이 보장되는 공동 미분적 비밀유지를 채택한다.
• 시간 단위 간 비밀성을 보장하기 위해 트리 기반 메커니즘을 사용해 비밀 유지된 기울기 또는 추정치를 생성한다.
• 비밀 손실을 통제 가능한 범위로 유지하기 위해 트리 기반 메커니즘에 가우시안 또는 위샤르트 노이즈를 통합한다.
• 노이즈가 포함된 트리 기반 메커니즘을 사용해 보상 모델의 매개변수에 대한 비밀 유지된 추정치를 포함시켜 선형-UCB 알고리즘을 수정한다.
• 비밀 예산과 추정 오차 간의 상호 작용을 분석함으로써, 결과적으로 생성된 비밀 유지 알고리즘의 재해를 유한하게 제한한다.
• 모든 비밀 유지 알고리즘이 초래하는 추가 재해에 대한 하한을 유도함으로써, MAB에서의 비밀-유용성 트레이드오프의 기본적인 한계를 증명한다.

실험 결과

연구 질문

• RQ1 왜 표준적인 미분적 비밀성이 맥락적 선형 밴디트에서 선형 재해를 초래하는가?
• RQ2 현재 일자의 비밀성 요구를 완화하는 비밀유지 개념이 여전히 강력한 비밀유지 보장을 보장하면서도 부분선형 재해를 가능하게 할 수 있는가?
• RQ3 선형-UCB 알고리즘은 트리 기반 메커니즘을 사용해 어떻게 공동 미분적 비밀유지를 유지할 수 있는가?
• RQ4 가우시안 노이즈와 위샤르트 노이즈를 사용할 경우, 비밀 유지 맥락적 밴디트의 재해 성능에 어떤 영향을 미치는가?
• RQ5 다중 암드 밴디트 설정에서 어떤 비밀 유지 알고리즘도 반드시 초래하는 추가 재해의 기본 하한은 무엇인가?

주요 결과

• 표준적인 미분적 비밀성이 맥락적 선형 밴디트에서 선형 재해를 초래함으로써 학습에 비효율적임을 확인한다.
• 공동 미분적 비밀유지는 현재 일자의 행동에 대한 비밀성 요구를 완화함으로써 부분선형 재해를 가능하게 한다.
• 가우시안 또는 위샤르트 노이즈를 사용한 제안된 트리 기반 메커니즘은 공동 미분적 비밀유지를 성공적으로 달성하며, 유한한 재해를 유지한다.
• 비밀 유지 알고리즘의 재해는 비밀 예산과 특징 공간의 차원에 따라 스케일링되며, 명시적인 하한이 제공된다.
• 논문은 비밀성으로 인한 추가 재해에 대한 첫 번째 하한을 확립하여, 비밀 유지 밴디트 학습에서 일부 재해 증가는 피할 수 없다는 것을 보여준다.
• 이론적 분석은 제안된 방법이 비밀과 재해 성능 간에 유리한 트레이드오프를 달성함을 확인한다.