[논문 리뷰] Private Reinforcement Learning with PAC and Regret Guarantees

Giuseppe Vietri, Borja Balle외 2명|arXiv (Cornell University)|2020. 09. 18.

Privacy-Preserving Technologies in Data참고 문헌 22인용 수 8

한 줄 요약

이 논문은 개인화 의료와 같은 고위험 응용 분야에 적합한, 샘플 복잡도 및 회귀 한계에 대해 PAC 및 회귀 보장을 제공하면서도 연속적 마르코프 결정 과정에서 통합 미분적 비밀보장성(JDP)을 만족하는 프라이버시 강화 학습 알고리즘인 PUCB를 소개한다. 이 알고리즘은 프라이버시 파라미터 ε가 샘플 복잡도 및 회귀 한계의 고차항에만 영향을 주므로, 최소한의 유틸리티 비용으로 프라이버시를 보장한다.

ABSTRACT

Motivated by high-stakes decision-making domains like personalized medicine where user information is inherently sensitive, we design privacy preserving exploration policies for episodic reinforcement learning (RL). We first provide a meaningful privacy formulation using the notion of joint differential privacy (JDP)--a strong variant of differential privacy for settings where each user receives their own sets of output (e.g., policy recommendations). We then develop a private optimism-based learning algorithm that simultaneously achieves strong PAC and regret bounds, and enjoys a JDP guarantee. Our algorithm only pays for a moderate privacy cost on exploration: in comparison to the non-private bounds, the privacy parameter only appears in lower-order terms. Finally, we present lower bounds on sample complexity and regret for reinforcement learning subject to JDP.

연구 동기 및 목표

• 개인화 의료와 같은 민감한 도메인에서 강화 학습의 프라이버시-유틸리티 트레이드오프 문제를 해결하기 위해.
• 지속적인 관찰 하에서 연속적 강화 학습에 대한 의미 있는 프라이버시 개념을 통합 미분적 비밀보장성(JDP)을 사용해 수학적으로 정의하기 위해.
• JDP 하에서 강력한 학습 보장을(즉, PAC 및 회귀 한계) 유지하면서도 프라이버시를 확보하는 탐색 알고리즘을 개발하기 위해.
• 모든 ε-JDP 강화 학습 알고리즘에 대해 샘플 복잡도 및 회귀 한계의 날카러운 하한을 설정하기 위해.

제안 방법

• 강화 학습에 대한 프라이버시 포지션으로서 연속적 통합 미분적 비밀보장성(JDP)을 도입하여, 각 사용자의 데이터가 상호작용 전반에 걸쳐 보호되도록 한다.
• PUCB를 설계하여, ε-JDP를 보장하면서도 학습 성능을 유지하는 옵티미즘 기반 탐색 알고리즘으로, 노이즈를 통합한다.
• 상위 신뢰도 기반(UCB) 원칙을 사용하고, Q-값의 프라이빗 추정을 통해 탐색과 프라이버시의 균형을 이룬다.
• 각 초기 상태에서의 첫 번째 액션 출력에 대해 미분적 비밀보장성 메커니즘을 적용하여, 문제를 프라이빗 다중 손잡이 밴딧으로 환원한다.
• 기존의 프라이빗 밴딧의 회귀 하한을 활용하여, 프라이빗 강화 학습의 이론적 한계를 유도한다.
• 어려운 MDP 인스턴스를 구성하여, ε-JDP 하에서 샘플 복잡도 및 회귀 한계의 하한을 증명한다.

실험 결과

연구 질문

• RQ1 학습 성능에 심각한 비용을 지불하지 않으면서도 공식적인 프라이버시 보장을 제공하는 강화 학습 알고리즘을 설계할 수 있는가?
• RQ2 연속적 강화 학습에서 사용자별 출력이 있는 순차적 의사결정에 통합 미분적 비밀보장성(JDP)이 어떻게 적용될 수 있는가?
• RQ3 강화 학습에서 ε-JDP를 달성하기 위해 필요한 최소한의 유틸리티 비용(샘플 복잡도 및 회귀 한계 기준)은 얼마인가?
• RQ4 ε-JDP 하에서 연속적 강화 학습의 샘플 복잡도 및 회귀 한계에 대한 상한과 하한은 어떻게 비교되는가?
• RQ5 강화 학습의 프라이빗 탐색은 프라이버시 파라미터 ε에 대해 오직 고차항 의존성만을 가지는가?

주요 결과

• PUCB는 주로 비프라이빗 샘플 복잡도 및 회귀 비용이 지배적인 항으로 유지되면서도 ε-JDP 보장을 달성한다.
• PUCB의 샘플 복잡도는 Õ(SAH⁴/α² + S²AH⁴/(εα))이며, 프라이버시 항은 오직 고차항에만 영향을 준다.
• PUCB의 회귀는 Õ(H²√(SAT) + (SAH³ + S²AH³)/ε)이며, 프라이버시 영향은 오직 고차항에만 국한된다.
• 논문은 샘플 복잡도 하한 Õ(SAH²/α² + SAH/(εα))을 확립하여, 주요 항에서 상한과 일치함을 보였다.
• 회귀 하한 Ω(√(HSAT) + SAH log T / ε)을 증명하여, 프라이버시 비용이 상태 공간 크기 S에 비례하여 선형 증가함을 보였다.
• 결과적으로, α가 작고 T가 클 경우 프라이버시 비용이 무시할 수 있을 정도로 작아지므로, 이 접근법의 실용성이 입증된다.