[논문 리뷰] Differentially Private Multi-Armed Bandits in the Shuffle Model

Jay M. Tenenbaum, Haim Kaplan외 2명|arXiv (Cornell University)|2021. 06. 05.

Advanced Bandit Algorithms Research참고 문헌 24인용 수 5

한 줄 요약

이 논문은 셰플 모델에서 비밀리에 보장되는 다중 손잡이 밴딧 알고리즘을 제안하며, 거의 최적의 리그레트 한계를 달성한다. 이는 국소 모델보다는 훨씬 우수한 성능을 보이며, 중심 모델 성능에 거의 근접한다. 이 알고리즘은 약간의 수정을 가한 애즈-에리미네이션(AE) 알고리즘의 배치 버전을 사용하며, 비밀리에 보장되는 이진 합산 메커니즘을 통해 효율적이고 비밀리에 보장되는 암 선택을 가능하게 한다. 리그레트는 $O\left(\sum_{\Delta_a > 0} \frac{1}{\Delta_a} \log T + \frac{k\sqrt{\log(1/\delta)}\log T}{\varepsilon}\right)$ 스케일링을 따른다.

ABSTRACT

We give an $(\varepsilon,δ)$-differentially private algorithm for the multi-armed bandit (MAB) problem in the shuffle model with a distribution-dependent regret of $O\left(\left(\sum_{a\in [k]:Δ_a>0}\frac{\log T}{Δ_a} ight)+\frac{k\sqrt{\log\frac{1}δ}\log T}{\varepsilon} ight)$, and a distribution-independent regret of $O\left(\sqrt{kT\log T}+\frac{k\sqrt{\log\frac{1}δ}\log T}{\varepsilon} ight)$, where $T$ is the number of rounds, $Δ_a$ is the suboptimality gap of the arm $a$, and $k$ is the total number of arms. Our upper bound almost matches the regret of the best known algorithms for the centralized model, and significantly outperforms the best known algorithm in the local model.

연구 동기 및 목표

• 셰플 모델을 중간 신뢰 모델로 활용하여 비밀리에 보장되는 다중 손잡이 밴딧에서 국소 모델과 중심 모델 간의 리그레트 격차를 해소하기.
• $(\varepsilon,\delta)$-비밀리에 보장되는 다수의 결정을 보장하면서도 낮은 리그레트를 유지하는 실용적이고 효율적인 알고리즘 설계하기.
• 국소 모델 알고리즘의 $1/\varepsilon^2$ 리그레트 페널티 문제를 해결하기 위해 신뢰할 수 있는 샤프러를 사용하여 노이즈 증폭을 줄이기.
• 강력한 신뢰 가정이 필요 없는 중심 모델의 성능에 경쟁 가능한 분포 의존 및 분포 독립 리그레트 한계를 달성하기.

제안 방법

• 하나의 암이 하루 동안 평가되는 단계를 반복하며 증가하는 배치 크기를 사용하는 거의 제거(AE) 알고리즘의 배치 버전을 제안한다. 이는 하위 최적의 암을 조기에 탐지하고 제거하는 데 목적이 있다.
• 셰플 모델에서 비밀리에 보장되는 암 보상 추정치를 계산하기 위한 핵심 원리로 비밀리에 보장되는 이진 합산 메커니즘을 사용한다.
• 사용자 보고를 수집하고 무작위화한 후 집계하기 위해 샤프러를 사용하여 국소 모델보다 강력한 비밀리에 보장된 성능을 확보하면서도 국소 DP보다 노이즈를 줄인다.
• 집중 불등식과 고확률 집중 사건을 적용하여 암을 제거하기 전에 필요한 샘플 수를 제한함으로써 낮은 리그레트를 확보한다.
• 실패 확률를 제어하기 위해 깔끔한 사건 $C$를 도입하고, 이 사건 조건 하에 리그레트 한계를 유도한 후 尾확률과 결합하여 기대 리그레트를 도출한다.
• 리그레트 향상을 위해 특히 큰 하위 최적성 갭을 가진 암에 대해 더 적은 라운드 수를 확보하기 위해 지수 증가하는 배치 크기를 사용한다.

실험 결과

연구 질문

• RQ1 국소 모델의 $1/\varepsilon^2$ 페널티를 피하고 중심 모델 성능에 거의 근접하는 리그레트를 달성할 수 있는 셰플 모델에서 비밀리에 보장되는 다중 손잡이 밴딧 알고리즘을 설계할 수 있는가?
• RQ2 셰플 모델의 중간 신뢰 모델을 활용하여 보상 추정의 노이즈를 줄이면서도 강력한 비밀리에 보장된 성능을 유지할 수 있는가?
• RQ3 비밀리에 보장되는 환경에서 하위 최적의 암을 조기에 제거할 수 있는 배치 알고리즘을 설계할 수 있는가, 이로 인한 리그레트 영향을 최소화할 수 있는가?
• RQ4 다중 손잡이 밴딧에서 셰플 모델의 비밀리에 보장되는 파라미터 $\varepsilon$, $\delta$와 리그레트 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 적응형 배치와 비밀리에 보장되는 집계를 사용하여 비밀리에 보장되는 밴딧의 덧셈 리그레트 항을 $O(k \log T / \varepsilon^2)$에서 $O(k \sqrt{\log(1/\delta)} \log T / \varepsilon)$로 개선할 수 있는가?

주요 결과

• 제안된 알고리즘은 분포 의존 리그레트 $O\left(\sum_{\Delta_a > 0} \frac{\log T}{\Delta_a} + \frac{k\sqrt{\log(1/\delta)}\log T}{\varepsilon}\right)$을 달성하며, 중심 모델의 성능에 거의 근접한다.
• 분포 독립 리그레트는 $O\left(\sqrt{kT\log T} + \frac{k\sqrt{\log(1/\delta)}\log T}{\varepsilon}\right)$이며, 국소 모델의 $\Omega(1/\varepsilon^2)$ 의존성보다 크게 향상되었다.
• 지수 증가하는 배치 크기를 사용하여 하위 최적의 암을 조기에 탐지하고 제거함으로써 필요한 샘플 수를 줄이고 리그레트 한계를 향상시켰다.
• 셰플 모델에서의 비밀리에 보장되는 이진 합산 메커니즘은 $O(\sqrt{\log(1/\delta)}/\varepsilon)$ 오차를 보장하며, 이는 덧셈 리그레트 항을 제어하는 데 핵심적이다.
• 핵심 혁신은 셰플 모델의 비밀리에 보장 성능과 적응형 배치를 조합하여 비밀리에 보장과 리그레트 사이의 거의 최적의 트레이드오프를 달성하는 데 있다.
• 분석 결과 깔끔한 사건 $C$는 높은 확률로 발생하며, 희귀한 실패 조건에도 불구하고 기대 리그레트는 유도된 표현식으로 제한된다.