[논문 리뷰] Multi-Armed Bandits with Local Differential Privacy

Wenbo Ren, Xingyu Zhou외 2명|arXiv (Cornell University)|2020. 07. 06.

Advanced Bandit Algorithms Research참고 문헌 24인용 수 28

한 줄 요약

이 논문은 이론적 하한선에 비례 상수 인자로까지 도달하는 성능을 보이는 국소적 미분적 비밀유지(LDP) 다익정형 밴딧 알고리즘을 제안한다. 보정된 랜덤라이즈드 리스폰스 기법(Laplace 및 Bernoulli)을 사용하여 국소적 비밀유지 조건을 충족시키면서도, 분포에 의존하는 리그레트는 $O\left(\sum_{a:\Delta_a>0} \left[\frac{\log T}{\epsilon^2 \Delta_a} + \Delta_a \right]\right)$를 유지한다. 수치 실험을 통해 이론적 타당성이 확인된다.

ABSTRACT

This paper investigates the problem of regret minimization for multi-armed bandit (MAB) problems with local differential privacy (LDP) guarantee. In stochastic bandit systems, the rewards may refer to the users' activities, which may involve private information and the users may not want the agent to know. However, in many cases, the agent needs to know these activities to provide better services such as recommendations and news feeds. To handle this dilemma, we adopt differential privacy and study the regret upper and lower bounds for MAB algorithms with a given LDP guarantee. In this paper, we prove a lower bound and propose algorithms whose regret upper bounds match the lower bound up to constant factors. Numerical experiments also confirm our conclusions.

연구 동기 및 목표

• 순차적 의사결정 시스템에서 개인화된 서비스 성능와 사용자 프라이버시 간의 갈등을 해결하기 위해.
• 국소적 미분적 비밀유지(LDP) 제약 조건 하에서 다익정형 밴딧(MAB) 문제의 리그레트 최소화를 연구하기 위해.
• LDP-MAB 알고리즘에 대한 날카로운 이론적 리그레트 경계—하한 및 상한—를 수립하기 위해.
• 이론적 하한선에 비례 상수 인자로까지 도달하는 실용적인 LDP 밴딧 알고리즘을 설계하기 위해.
• 이론적 결과를 다양한 보상 분포에 대해 수치 실험을 통해 검증하기 위해.

제안 방법

• 국소적 비밀유지를 위한 라플라스 노이즈를 사용하는 LDP-UCB-L과 베르누이 기법을 사용하는 LDP-UCB-B라는 두 가지 LDP 밴딧 알고리즘을 제안한다.
• 각 사용자의 보상 정보를 전송하기 전에 보정된 랜덤라이즈드 리스폰스를 적용하여 $\epsilon$-국소적 미분적 비밀유지를 확보한다.
• 보안 인식 기반의 신뢰구간을 사용한 상한 신뢰도 기반(UCB) 원칙을 적용하며, 이는 $\epsilon$에 비례하여 스케일링된다.
• 보안 제약 조건 하에서 탐색과 이용의 상호보완적 관계를 분석하여 리그레트의 상한을 유도한다.
• 보안 파라미터 $\epsilon$의 역수를 사용해 노이즈 수준을 제어하며, $\epsilon$이 클수록 더 날카로운 경계를 확보한다.
• 유도된 리그레트 하한선과 상수 인자 내에서 일치하는 새로운 분석 프레임워크를 도입한다.

실험 결과

연구 질문

• RQ1 국소적 미분적 비밀유지($\epsilon$-LDP) 하에서 다익정형 밴딧의 리그레트에 대한 기본적인 한계(하한선)는 무엇인가?
• RQ2 LDP 밴딧 알고리즘이 이론적 하한선에 비례 상수 인자로까지 도달하는 리그레트 상한선을 달성할 수 있는가?
• RQ3 다른 국소적 비밀유지 기법—라플라스 및 베르누이—는 MAB 환경에서 리그레트 성능에 어떤 영향을 미치는가?
• RQ4 제안된 LDP-UCB 프레임워크는 베르누이 가정을 초월해 다양한 보상 분포에서도 강력한 성능을 유지하는가?
• RQ5 보안 파라미터 $\epsilon$은 리그레트에 어떤 영향을 미치며, 이론적 스케일링은 경험적으로 확인되는가?

주요 결과

• 논문은 $\epsilon$-LDP 다익정형 밴딧에 대한 리그레트 하한선을 수립하였으며, 어떤 알고리즘도 $\Omega\left(\sum_{a:\Delta_a>0} \left[\frac{\log T}{\epsilon^2 \Delta_a} + \Delta_a \right]\right)$ 이하의 리그레트를 달성할 수 없음을 증명한다.
• 제안된 LDP-UCB-L 알고리즘은 $O\left(\sum_{a:\Delta_a>0} \left[\frac{\log T}{\epsilon^2 \Delta_a} + \Delta_a \right]\right)$의 상한 리그레트를 달성하며, 이는 상수 인자 내에서 하한선과 정확히 일치한다.
• LDP-UCB-B 역시 동일한 渐近 리그레트 상한선을 달성하며, 베르누이 기법을 사용함으로써 더 낮은 상수 인자를 확보한다.
• 수치 결과는 $\epsilon = 2.0$일 때 LDP-UCB-B의 리그레트가 비공개 UCB 대비 1.6배임을 확인하였으며, 이는 이론적 상한선인 1.7배와 매우 유사하다.
• $\epsilon = 0.2$일 때 LDP-UCB-L의 리그레트 비율은 비공개 UCB 대비 8.5배에 이르며, 이는 이론적 상한선인 9.0배와 일치한다.
• 알고리즘은 베르누이 외에도 베타, 균일, 이산 분포를 포함한 다양한 보상 분포에서 강력한 성능을 유지하며, 베르누이 가정을 초월한 강인성을 입증한다.