[논문 리뷰] An Optimal Private Stochastic-MAB Algorithm Based on an Optimal Private Stopping Rule

Touqir Sajed, Or Sheffet|arXiv (Cornell University)|2019. 05. 22.

Auction Theory and Applications인용 수 12

한 줄 요약

이 논문은 새로운 비공개 정지 규칙을 기반으로 한 비차별적 정규화된 다중 손잡이 밴딧(MAB) 알고리즘을 제안하며, $O\left(\frac{K\log T}{\varepsilon}\right)$의 최적의 손실 한계를 달성한다. 이는 비공개 하한과 최근에 확립된 비공개 하한을 모두 충족한다. 이 방법은 이전의 비공개 UCB 알고리즘에서 사용된 비효율적인 트리 기반 메커니즘 대신 최적의 비공개 정지 규칙을 사용하는 성공적 제거의 비공개 변형을 활용한다.

ABSTRACT

We present a provably optimal differentially private algorithm for the stochastic multi-arm bandit problem, as opposed to the private analogue of the UCB-algorithm [Mishra and Thakurta, 2015; Tossou and Dimitrakakis, 2016] which doesn't meet the recently discovered lower-bound of $Ω\left(\frac{K\log(T)}ε ight)$ [Shariff and Sheffet, 2018]. Our construction is based on a different algorithm, Successive Elimination [Even-Dar et al. 2002], that repeatedly pulls all remaining arms until an arm is found to be suboptimal and is then eliminated. In order to devise a private analogue of Successive Elimination we visit the problem of private stopping rule, that takes as input a stream of i.i.d samples from an unknown distribution and returns a multiplicative $(1 \pm α)$-approximation of the distribution's mean, and prove the optimality of our private stopping rule. We then present the private Successive Elimination algorithm which meets both the non-private lower bound [Lai and Robbins, 1985] and the above-mentioned private lower bound. We also compare empirically the performance of our algorithm with the private UCB algorithm.

연구 동기 및 목표

• 기존의 비차별적 MAB 알고리즘의 성능과 이론적 하한 사이의 격차를 해소하기 위해, 노이즈가 섞인 신뢰구간으로 인해 비최적의 손실을 겪는 문제를 해결하는 것.
• 순수 $\varepsilon$-차별적 비밀유지 조건 하에서 최적의 손실을 달성하는 성공적 제거 알고리즘의 비공개 버전을 개발하는 것.
• 최소한의 노이즈로 분포의 평균을 $1\pm\alpha$ 정확도 내에서 근사하는 비공개 정지 규칙을 설계하고, 그 최적성을 증명하는 것.
• 다양한 설정에서 제안된 알고리즘이 기존의 비공개 UCB 변형보다 의사 손실 측면에서 뛰어나다는 경험적 증명을 제공하는 것.

제안 방법

• 알고리즘은 모든 활성 암을 위한 신뢰구간을 유지하고, 하위 최적의 암이 확실히 제거될 경우 제거하는 성공적 제거에 기반한다.
• 이중 $\varepsilon$-차별적 비밀유지 조건을 충족하면서도 $1\pm\alpha$ 정확도 내에서 평균을 추정하기 위해 비공개 정지 규칙을 도입한다. 이는 최적의 표본 복잡도를 달성한다.
• 이 비공개 정지 규칙은 이전의 트리 기반 메커니즘이 겪는 $\log^3 T$ 노이즈 증폭 문제를 피하는 새로운 노이즈 메커니즘을 사용하여, 시간 단위당 $O(\log T / \varepsilon)$의 노이즈를 달성한다.
• 비공개 성공적 제거 알고리즘은 이 정지 규칙을 통합하여 암의 평균을 비공개적으로 추정하고, 최소한의 손실로 하위 최적의 암을 제거한다.
• 이론적 분석을 통해 알고리즘이 Lai와 Robbins(1985)의 비공개 하한과 Shariff 및 Sheffet(2018)의 비공개 하한을 모두 충족함을 증명한다.
• 경험적 평가에서는 다양한 $K$, $\varepsilon$, 보상 갭의 구조를 가진 네 가지 합성 설정에서 알고리즘을 비공개 UCB와 비교한다.

실험 결과

연구 질문

• RQ1 비차별적 MAB 알고리즘이 $O\left(\frac{K\log T}{\varepsilon}\right)$의 최적 손실 한계를 달성할 수 있는가? 이는 비공개 하한과 비공개 정보 이론적 하한을 모두 충족한다.
• RQ2 비공개 정지 규칙을 설계하여 분포의 평균을 $1\pm\alpha$ 정확도 내에서 근사하면서도 노이즈를 최소화하고, $\varepsilon$-DP 하에서 최적의 표본 복잡도를 달성할 수 있는가?
• RQ3 비공개 UCB의 트리 기반 메커니즘을 성공적 제거 프레임워크 내의 비공개 정지 규칙으로 대체할 경우, 경험적으로 성능이 크게 향상되는가?
• RQ4 다양한 밴딧 설정에서 비공개 성공적 제거 알고리즘이 기존의 비공개 UCB 알고리즘보다 의사 손실 측면에서 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• 제안된 비공개 성공적 제거 알고리즘은 $O\left(\frac{K\log T}{\varepsilon}\right)$의 손실을 달성하며, 비공개 하한과 비공개 하한을 모두 충족하여 최적성임을 입증한다.
• 비공개 정지 규칙은 최적임이 증명되었으며, 표본 복잡도가 비공개 평균 추정의 정보 이론적 하한과 정확히 일치한다.
• 모든 테스트 설정에서 비공개 성공적 제거 알고리즘은 의사 손실 측면에서 비공개 UCB를 최소 5배 이상 뛰어넘는다.
• 제안된 알고리즘의 의사 손실 곡선은 조각별 선형이며, 이는 하위 최적의 암이 조기에 제거됨을 시사한다. 반면 비공개 UCB의 곡선은 부드럽고 하위 최적의 암을 계속 뽑는다.
• 알고리즘의 성능은 $K$, $\varepsilon$, 보상 갭의 구조가 다양하게 변할 때에도 뛰어나게 유지되며, 비공개 UCB를 일관되게 능가한다.
• 결과적으로 트리 기반 메커니즘을 비공개 정지 규칙으로 대체하는 것이 비공개 MAB에서 최적의 손실을 달성하는 데 핵심적임을 시사한다.