[논문 리뷰] Local Differentially Private Regret Minimization in Reinforcement Learning.

Evrard Garcelon, Vianney Perchet외 2명|arXiv (Cornell University)|2020. 10. 15.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 4

한 줄 요약

이 논문은 유한한 시간 간격을 가진 마르코프 결정 과정(MDP)에 대해 로컬 미분적 비밀리성(LDP) 강화학습 알고리즘을 제안하며, 사용자 데이터를 보호하면서도 하위선형의 손실을 달성한다. 사용자 측에서 LDP를 활용함으로써, 비공개 설정 대비 곱셈적 손실 비용을 지닌 개인정보 보호를 보장한다.

ABSTRACT

Reinforcement learning algorithms are widely used in domains where it is desirable to provide a personalized service. In these domains it is common that user data contains sensitive information that needs to be protected from third parties. Motivated by this, we study privacy in the context of finite-horizon Markov Decision Processes (MDPs) by requiring information to be obfuscated on the user side. We formulate this notion of privacy for RL by leveraging the local differential privacy (LDP) framework. We present an optimistic algorithm that simultaneously satisfies LDP requirements, and achieves sublinear regret. We also establish a lower bound for regret minimization in finite-horizon MDPs with LDP guarantees. These results show that while LDP is appealing in practical applications, the setting is inherently more complex. In particular, our results demonstrate that the cost of privacy is multiplicative when compared to non-private settings.

연구 동기 및 목표

• 사용자 데이터에 민감한 정보가 포함되어 있는 개인화된 강화학습에서의 개인정보 보호 문제를 해결하기 위해.
• 사용자 수준에서의 왜곡을 보장함으로써 로컬 미분적 비밀리성(LDP) 프레임워크를 사용해 강화학습에서의 개인정보 보호를 체계화하기 위해.
• LDP 제약 조건을 충족시키면서도 하위선형 손실을 달성할 수 있도록 낙관적인 알고리즘을 설계하기 위해.
• 유한한 시간 간격 MDP에서 LDP 보호 강화학습에 대한 이론적 하한선을 설정하기 위해.
• 비공개 설정 대비 손실 증가와 비교하여 개인정보 보호의 본질적 비용을 정량화하기 위해.

제안 방법

• 사용자 측 데이터 왜곡을 전제로 하여, 사용자 측에서의 데이터 전송 이전에 로컬 미분적 비밀리성(LDP) 프레임워크를 사용해 유한한 시간 간격 MDP에서의 개인정보 보호를 수식화한다.
• LDP 제약 조건을 학습 과정에 통합하여 개인정보 보호를 데이터 수집 단계에서 보장하는 낙관적인 강화학습 알고리즘을 설계한다.
• 클라이언트 측에서 사용자 관측치에 캘리브레이션된 노이즈를 추가하여 LDP 보장을 만족시키는 메커니즘을 도입한다.
• 개인정보 보호 제약 조건 하에서 탐색과 이용의 균형을 이루기 위해 낙관적인 가치 반복 또는 유사한 계획 구성 요소를 활용한다.
• LDP 하에서의 손실 한계를 분석하여 제안된 알고리즘에 대한 상한선과 문제 클래스에 대한 하한선을 유도한다.
• 이론적 분석을 통해 LDP 하에서의 손실 스케일링을 비공개 설정과 비교하여 분석하며, 곱셈적 비용을 드러낸다.

실험 결과

연구 질문

• RQ1 유한한 시간 간격 MDP에서 로컬 미분적 비밀리성(LDP)을 보장하면서도 하위선형 손실을 유지할 수 있는 강화학습 알고리즘을 설계할 수 있는가?
• RQ2 LDP 보호 강화학습에서 개인정보 보호와 손실 성능 간의 근본적인 상충 관계는 무엇인가?
• RQ3 LDP 보호 강화학습의 손실은 비공개 강화학습 설정 대비 어떻게 스케일링되는가?
• RQ4 LDP 보호 강화학습을 위한 유한한 시간 간격 MDP에 대해 이론적 하한선을 설정할 수 있는가?
• RQ5 이 설정에서 개인정보 보호의 곱셈적 비용은 손실 증가 측면에서 어떻게 나타나는가?

주요 결과

• 제안된 알고리즘은 로컬 미분적 비밀리성 제약 조건 하에서도 하위선형 손실을 달성하여, 비공개 강화학습이 유한한 시간 간격 MDP에서 가능하다는 것을 입증한다.
• LDP 보호 강화학습을 위한 유한한 시간 간격 MDP에 대해 이론적 하한선이 확립되었으며, 개인정보 보호로 인한 본질적 제약를 보여준다.
• 비공개 설정 대비 개인정보 보호 비용은 곱셈적이다. 즉, 손실은 개인정보 보호 예산에 따라 증가하는 요소에 의해 스케일링된다.
• 분석 결과 LDP는 손실 증가 측면에서 상당한 그러나 정량화 가능한 성능 저하를 유발한다는 것이 확인된다.
• 결과적으로 LDP는 실세계 구현에 실용적이지만, 강화학습에서 손실 최소화의 복잡성을 본질적으로 증가시킨다는 것이 드러났다.