[논문 리뷰] (Locally) Differentially Private Combinatorial Semi-Bandits

Xiaoyu Chen, Kai Zheng외 4명|arXiv (Cornell University)|2020. 06. 01.

Advanced Bandit Algorithms Research참고 문헌 37인용 수 4

한 줄 요약

이 논문은 $B_\infty$- 및 $B_1$-유계 부드러움 조건 하에서 조합적 반반대기(Combinatorial Semi-Bandits)에 대해 미분적 보안 알고리즘을 제안하며, 비공개 상태일 때도 비공개 상태의 비용과 동일한 최적의 손실 한계를 달성한다. 이는 비공개 상태에서 추가적인 손실 비용이 발생하지 않음을 보여주며, $\varepsilon$-LDP 하에서는 $\Theta(\frac{mB^{2}_{\infty}\ln T}{\varepsilon^{2}\Delta})$, $\varepsilon$-DP 하에서는 $\tilde{\Theta}(\frac{mB^{2}_{\infty}\ln T}{\varepsilon\Delta})$의 최적 손실 한계를 달성하고, $B_1$-유계 부드러움 조건 하에서는 $\varepsilon$-DP 하에서 $\tilde{\Theta}(\frac{mKB^{2}_{1}\ln T}{\varepsilon\Delta})$의 최적 손실 한계를 달성한다.

ABSTRACT

In this paper, we study Combinatorial Semi-Bandits (CSB) that is an extension of classic Multi-Armed Bandits (MAB) under Differential Privacy (DP) and stronger Local Differential Privacy (LDP) setting. Since the server receives more information from users in CSB, it usually causes additional dependence on the dimension of data, which is a notorious side-effect for privacy preserving learning. However for CSB under two common smoothness assumptions \cite{kveton2015tight,chen2016combinatorial}, we show it is possible to remove this side-effect. In detail, for $B_{\infty}$-bounded smooth CSB under either $\varepsilon$-LDP or $\varepsilon$-DP, we prove the optimal regret bound is $Θ(\frac{mB^2_{\infty}\ln T } {Δε^2})$ or $ ildeΘ(\frac{mB^2_{\infty}\ln T} { Δε})$ respectively, where $T$ is time period, $Δ$ is the gap of rewards and $m$ is the number of base arms, by proposing novel algorithms and matching lower bounds. For $B_1$-bounded smooth CSB under $\varepsilon$-DP, we also prove the optimal regret bound is $ ildeΘ(\frac{mKB^2_1\ln T} {Δε})$ with both upper bound and lower bound, where $K$ is the maximum number of feedback in each round. All above results nearly match corresponding non-private optimal rates, which imply there is no additional price for (locally) differentially private CSB in above common settings.

연구 동기 및 목표

• 지역 및 글로벌 미분적 보안(LDP 및 DP) 설정 하에서 조합적 반반대기(CSB)에 대한 미분적 보안 알고리즘을 설계하는 것.
• 일반적인 부드러움 조건인 $B_\infty$-유계 및 $B_1$-유계 부드러움 하에서 비공개 CSB의 손실 한계를 분석하는 것.
• CSB에서 비공개 상태가 비공개 최적 비용을 초과하는 추가적인 손실 비용을 초래하는지 여부를 규명하는 것.
• 다양한 보안 및 부드러움 조건 하에서 손실의 상한 및 하한이 거의 일치하도록 하는 것.

제안 방법

• $\varepsilon$-LDP 및 $\varepsilon$-DP 하에서 $B_\infty$-유계 부드러움 CSB에 대한 새로운 비공개 알고리즘을 제안하며, 비공개 합산 및 트리 기반 집계 기법을 사용한다.
• $\varepsilon$-DP 하에서 $B_1$-유계 부드러움 CSB에 대한 새로운 알고리즘을 도입하여, $\mathcal{O}(\frac{mK^{2}B^{2}_{1}\ln T}{\Delta\varepsilon^{2}})$의 손실 상한을 달성한다.
• Karwa 및 Vadhan(2017)의 기법을 기반으로 한 커플링 추론을 사용하여, 비최적의 슈퍼 암호의 뽑힘 수에 대한 하한을 유도한다.
• 최적, 공용, 보조 집합으로 나누어진 $m$개의 기본 암호를 포함하는 어려운 사례를 구성하여, $\varepsilon$-DP 하에서 $B_1$-유계 CSB에 대해 $\Omega(\frac{mKB_{1}\ln T}{\varepsilon\Delta})$의 손실 하한을 증명한다.
• 비공개 CSB에서 손실을 줄이기 위해 희소 벡터 기법과 점진적으로 제거된 암호를 활용하며, 비공개 Successive Elimination의 영감을 얻는다.
• 구조화된 피드백을 가진 비공개 MAB로 비공개 CSB를 새로운 방식으로 감소시키며, 부드러움 조건을 활용하여 차원 의존적 손실 증가를 방지한다.

실험 결과

연구 질문

• RQ1 조합적 반반대기의 미분적 보안 알고리즘이 비공개 최적 비용과 일치하는 손실 한계를 달성할 수 있는가?
• RQ2 $B_\infty$-유계 부드러움 조건 하에서 비공개 CSB에서 피드백의 차원성(즉, $K$)이 피할 수 없는 손실 비용을 초래하는가?
• RQ3 $\varepsilon$-DP 하에서 $B_1$-유계 부드러움 CSB의 최적 손실 한계는 무엇이며, 이는 $K$에 대한 추가 의존 없이 달성될 수 있는가?
• RQ4 $\varepsilon$-DP 하에서 $B_1$-유계 부드러움 CSB의 손실 하한이 타당한가, 아니면 현재 하한에 개선 여지가 있는가?

주요 결과

• $B_\infty$-유계 부드러움 CSB의 경우, $\varepsilon$-LDP 하에서 최적의 손실은 $\Theta(\frac{mB^{2}_{\infty}\ln T}{\varepsilon^{2}\Delta})$이며, 비공개 비용과 로그 요소를 제외하고 거의 동일하다.
• $\varepsilon$-DP 하에서 $B_\infty$-유계 부드러움 CSB의 최적 손실은 $\tilde{\Theta}(\frac{mB^{2}_{\infty}\ln T}{\varepsilon\Delta})$이며, 비공개 비용과 거의 일치한다.
• $\varepsilon$-DP 하에서 $B_1$-유계 부드러움 CSB의 최적 손실은 $\tilde{\Theta}(\frac{mKB^{2}_{1}\ln T}{\varepsilon\Delta})$이며, 상한과 하한이 로그 요소를 제외하고 거의 일치한다.
• $\varepsilon$-DP 하에서 $B_1$-유계 부드러움 CSB의 손실 하한은 $\Omega(\frac{mKB_{1}\ln T}{\varepsilon\Delta})$이며, 로그 요소를 제외하고는 타당하다.
• $\varepsilon$-DP 하에서 $B_1$-유계 부드러움 CSB에 대한 제안된 알고리즘은 $\mathcal{O}(\frac{mK^{2}B^{2}_{1}\ln T}{\Delta\varepsilon^{2}})$의 손실을 달성하며, 이는 $K$에 대한 상한과 하한 사이의 격차를 시사한다.
• 논문은 하한이 느슨할 것이라 추측하며, 알고리즘이 거의 최적일 것으로 보이며, $K$-의존성의 격차는 여전히 열린 문제로 남아 있다.