[논문 리뷰] Local Differential Privacy for Regret Minimization in Reinforcement Learning

Evrard Garcelon, Vianney Perchet외 2명|arXiv (Cornell University)|2020. 10. 15.

Privacy-Preserving Technologies in Data인용 수 12

한 줄 요약

이 논문은 유저 데이터를 전송하기 전에 비공식적 데이터를 비공식화하는 셰플드 로컬 메커니즘을 사용하여 국소적 차별적 프라이버시(LDP) 하에서 유한 수명 강화학습에서의 회복 최소화를 위한 최초의 알고리즘을 제안한다. 이는 Ω(H√(SAK)/min{e^ε−1,1})의 회복 하한을 확립하고, √K/ε의 회복을 달성하는 LDP-OBI라는 낙관적 알고리즘을 제시하여 하한의 K와 ε에 대한 의존성과 일치시킨다.

ABSTRACT

Reinforcement learning algorithms are widely used in domains where it is desirable to provide a personalized service. In these domains it is common that user data contains sensitive information that needs to be protected from third parties. Motivated by this, we study privacy in the context of finite-horizon Markov Decision Processes (MDPs) by requiring information to be obfuscated on the user side. We formulate this notion of privacy for RL by leveraging the local differential privacy (LDP) framework. We establish a lower bound for regret minimization in finite-horizon MDPs with LDP guarantees which shows that guaranteeing privacy has a multiplicative effect on the regret. This result shows that while LDP is an appealing notion of privacy, it makes the learning problem significantly more complex. Finally, we present an optimistic algorithm that simultaneously satisfies $\\varepsilon$-LDP requirements, and achieves $\\sqrt{K}/\\varepsilon$ regret in any finite-horizon MDP after $K$ episodes, matching the lower bound dependency on the number of episodes $K$.

연구 동기 및 목표

• 국소적 차별적 프라이버시(LDP)가 유한 수명 마코프 결정 과정(MDP)에서의 회복 최소화에 미치는 영향을 연구하는 것.
• RL 환경에서 ε-LDP 제약 조건 하의 회복에 대한 이론적 하한을 확립하는 것.
• ε-LDP를 만족하면서도 유한 수명 MDP에서 회복을 최소화하는 알고리즘을 설계하고 분석하는 것.
• LDP가 공동 차별적 프라이버시(JDP)에 비해 회복에 다가서는 곱셈 비용을 보이는지 보여주는 것.

제안 방법

• 사용자 상태-행동-보상 경로를 전송하기 전에 랜덤라이즈드 리스폰스 메커니즘을 기반으로 한 로컬 랜덤라이저 R_p^0/1을 사용하여 데이터를 비공식화하는 것.
• 개념적 통계에 대해 (ε, δ)-DP를 확보하기 위해 프라이버시 강화를 위한 셰플링 메커니즘을 사용하는 것.
• 비공식화된 데이터를 사용하여 상태-행동 방문 수, 전이 확률, 누적 보상에 대한 편향 없는 추정기를 구성하는 것.
• 프라이버시 인식된 신뢰 구간을 통합하여 탐색과 프라이버시를 균형 잡는 옵timistic 값 반복 접근법(LDP-OBI)을 적용하는 것.
• 셰플드 프라이버시에 관한 [Cheu 등, 2019]의 결과를 활용하여 비공식화된 카운터에 대한 고확률 농도 경계를 유도하는 것.
• 수명 H에 따라 프라이버시 파라미터 ε를 스케일링하여 국소 메커니즘에 대해 Hε-LDP를 도출하는 프라이버시 강화 기법을 사용하는 것.

실험 결과

연구 질문

• RQ1 유한 수명 강화학습에서 LDP를 통한 프라이버시와 회복 간의 근본적 트레이드오프는 무엇인가?
• RQ2 사용자 데이터에 대해 ε-LDP를 만족하면서도 하위선형 회복을 달성할 수 있는 RL 알고리즘이 존재하는가?
• RQ3 동일한 설정에서 LDP 하의 회복은 공동 차별적 프라이버시(JDP) 하의 회복과 어떻게 비교되는가?
• RQ4 LDP 하에서 에피소드 수 K와 프라이버시 파라미터 ε에 대한 회복의 최적 의존성은 무엇인가?
• RQ5 동시에 LDP를 만족하고 근사 최적의 회복을 달성하는 실용적 알고리즘을 설계할 수 있는가?

주요 결과

• 논문은 ε-LDP 하에서 유한 수명 MDP에 대해 Ω(H√(SAK)/min{e^ε−1,1})의 회복 하한을 확립하여, 프라이버시가 회복에 다가서는 곱셈 비용을 초래한다는 것을 보여준다.
• 제안된 LDP-OBI 알고리즘은 √K/ε의 회복을 달성하여 하한의 K와 ε에 대한 의존성과 일치시키며, 로그 인자 수준 이내이다.
• 회복 경계는 H²S²A√(KH)/(e^(ε/H)−1)로 스케일링되며, ε이 감소함에 따라 성능이著しく 악화됨을 나타낸다(더 강력한 프라이버시).
• 셰플링 메커니즘이 프라이버시 강화를 가능하게 하여, 국소 프라이버시를 유지하면서도 집계 통계에 대해 (ε_k,c, δ₀)-DP를 달성할 수 있다.
• 이 방법은 각 사용자의 데이터가 원천에서 비공식화되며 ε-LDP를 만족하면서도 편향 없는 추정을 통해 효과적인 학습을 가능하게 한다.
• 분석 결과, LDP는 JDP에 비해 RL 환경에서 본질적으로 더 어렵다는 것이 드러났으며, 추가적인 비용이 아닌 곱셈적 회복 페널티가 요구된다.