[논문 리뷰] Differential Privacy for Multi-armed Bandits: What Is It and What Is Its Cost?

Debabrota Basu, Christos Dimitrakakis외 1명|arXiv (Cornell University)|2019. 05. 29.

Advanced Bandit Algorithms Research참고 문헌 18인용 수 18

한 줄 요약

이 논문은 그래픽 프레임워크를 통해 다수의 손잡이 밴딧에 대한 차별적 프라이버시 정의를 통합하고, 다양한 프라이버시 제약 조건 하에서 최소 최대 및 베이지안 리그레트 하한을 도출한다. 프라이버시는 ε에 의존하는 곱셈 인자로 성능을 떨어뜨리며, 보상에 대한 국소적 차별적 프라이버시가 시행되지 않을 경우 더 약한 성능 저하를 보인다.

ABSTRACT

Based on differential privacy (DP) framework, we introduce and unify privacy definitions for the multi-armed bandit algorithms. We represent the framework with a unified graphical model and use it to connect privacy definitions. We derive and contrast lower bounds on the regret of bandit algorithms satisfying these definitions. We leverage a unified proving technique to achieve all the lower bounds. We show that for all of them, the learner's regret is increased by a multiplicative factor dependent on the privacy level $ε$. We observe that the dependency is weaker when we do not require local differential privacy for the rewards.

연구 동기 및 목표

• 다수의 손잡이 밴딧 설정에서 차별적 프라이버시 정의를 통합하고 형식화함으로써, 입력, 출력 및 이웃 정의에 대한 모호함을 해결하는 것.
• 다양한 프라이버시 제약 조건 하에서 최소 최대 및 베이지안 리그레트 하한을 도출하여 프라이버시와 학습 효율성 간의 상호 교환 관계를 분석하는 것.
• 밴딧 알고리즘에서 국소적 대비 비국소적 차별적 프라이버시 메커니즘의 성능 비용을 비교하는 것.
• 차별적 프라이버시에 적합하게 조정된 KL 발산 분해 보조정리를 활용하여 리그레트 하한을 증명하는 일반적 프레임워크를 수립하는 것.
• ε에 의존하는 곱셈 인자로 정량화된 증가된 리그레트를 기반으로 프라이버시의 기본 비용을 규명하는 것.

제안 방법

• 밴딧 학습 과정을 표현하고 입력, 출력 및 이웃 구조에 기반한 프라이버시 제약 조건을 정의하기 위해 통합된 그래픽 모델을 제안한다.
• 표준 및 국소적 차별적 프라이버시 정의에 맞게 조정된 일반화된 KL 발산 분해 보조정리를 도입하여 균일한 리그레트 분석을 가능하게 한다.
• 가설 검증 및 정보 이론적 경계에 기반한 증명 기법을 적용하여 최소 최대 및 베이지안 리그레트 하한을 유도한다.
• 이웃하는 입력 간의 정책 유도 분포 간의 발산을 통해 하한을 구성하기 위해 최적의 암호가 다른 두 환경의 쌍을 사용한다.
• 이웃하는 입력 하에서 결과 분포 간의 킬벡-레이블러 발산을 제한함으로써 리그레트 하한을 도출하며, ε를 통해 프라이버시 제약 조건을 통합한다.
• 리그레트와 프라이버시 간의 상호 교환 관계를 균형 잡기 위해 하위 최적성 갭 Δ를 선택하여 점근적으로 날카로운 하한을 이끌어낸다.

실험 결과

연구 질문

• RQ1 다수의 손잡이 밴딧에 적용 가능한 기본적인 차별적 프라이버시 정의는 무엇이며, 서로 어떻게 관련되어 있는가?
• RQ2 예를 들어 보상 대비 결과를 사전에 프라이버시 처리할 경우, 프라이버시 처리된 밴딧 알고리즘의 리그레트에 어떤 영향을 미치는가?
• RQ3 ε-차별적 프라이버시를 만족하는 밴딧 알고리즘이 달성할 수 있는 최소 리그레트는 무엇이며, ε과 T에 따라 어떻게 스케일링되는가?
• RQ4 리그레트 측면에서 국소적 차별적 프라이버시의 성능 비용은 비국소적 메커니즘에 비해 어떻게 다른가?
• RQ5 ε → 0 일 때 리그레트 하한의 점근적 행동은 무엇이며, 이는 강력한 프라이버시의 비용에 대해 어떤 함의를 갖는가?

주요 결과

• ε-차별적 프라이버시 밴딧에 대한 최소 최대 리그레트는 비프라이버시 리그레트에 대해 √(ln(ε+1)/(ε^(1+1/ε) ⋅ (ε²+1)^(1/ε))) 배수로 하한이 떨어진다.
• ε-차별적 프라이버시 하에서 리그레트 하한은 √(ln(ε²+1)/(e^{6ε} ⋅ ε^{1+1/ε} ⋅ (ε+B)^{1/ε})) 정도의 곱셈 인자로 악화된다.
• ε → 0 일 때 리그레트 하한은 무한대로 수렴하며, 이는 근접한 완벽한 프라이버시가 알고리즘의 무작위 탐색을 유도하고, 리그레트가 T 수준에 이르게 함을 시사한다.
• 보상에 대해 국소적 차별적 프라이버시가 요구되지 않을 경우 ε에 대한 의존성이 더 약해지며, 이러한 환경에서 성능상의 이점이 있음을 시사한다.
• 유도된 최소 최대 및 베이지안 리그레트 하한은 차별적 프라이버시 밴딧에 대해 처음으로 제시된 결과로, 프라이버시-유용성 상호 교환의 이론적 기반을 제공한다.
• 리그레트 하한은 로그 인자까지 날카로운 하한을 유지하며, 유한 분산 및 유한 보상 환경 모두에 적용 가능하며, 리프시츠 상수 L과 보상 갭 Δ에 명시적인 의존성을 포함한다.