[논문 리뷰] Privacy-preserving Q-Learning with Functional Noise in Continuous State Spaces

Baoxiang Wang, Nidhi Hegde|arXiv (Cornell University)|2019. 01. 30.

Privacy-Preserving Technologies in Data참고 문헌 40인용 수 5

한 줄 요약

이 논문은 연속 상태 공간에서 보상 함수의 기밀성을 보호하기 위해 재생 커널 힐버트 공간(RKHS)을 사용하여 값 함수 근사에 기능성 노이즈를 주입함으로써, 차별적 비공식 Q-학습 알고리즘을 제안한다. 노이즈 경로의 확률적 경계를 확보하고 반복 과정에서의 기밀성 구성 분석을 수행함으로써, 임의의 상태 쿼리 상황에서도 기능성 저하 없이 엄밀한 $(\epsilon, \delta)$-차별적 기밀성 보장을 달성한다. 실험적 검증을 통해 기존 방법들에 비해 향상된 유틸리티를 보여준다.

ABSTRACT

We consider differentially private algorithms for reinforcement learning in continuous spaces, such that neighboring reward functions are indistinguishable. This protects the reward information from being exploited by methods such as inverse reinforcement learning. Existing studies that guarantee differential privacy are not extendable to infinite state spaces, as the noise level to ensure privacy will scale accordingly to infinity. Our aim is to protect the value function approximator, without regard to the number of states queried to the function. It is achieved by adding functional noise to the value function iteratively in the training. We show rigorous privacy guarantees by a series of analyses on the kernel of the noise space, the probabilistic bound of such noise samples, and the composition over the iterations. We gain insight into the utility analysis by proving the algorithm's approximate optimality when the state space is discrete. Experiments corroborate our theoretical findings and show improvement over existing approaches.

연구 동기 및 목표

• 연속 상태 공간에서 보상 함수 기밀성을 보호하는 차별적 기밀성 강화 학습 알고리즘을 설계한다.
• 값 함수가 새로운 방문하지 않은 상태에서 쿼리될 경우에도 기밀성 보장이 유지됨을 보장한다.
• 반복적 강화 학습 환경에서 비선형 함수 근사기인 신경망에 차별적 기밀성을 확장한다.
• 기존 일반 목적의 정리들보다 더 날카운 기밀성 구성 경계를 제공한다.

제안 방법

• 재생 커널 힐버트 공간(RKHS) 상에서 가우시안 프로세스 메커니즘을 사용하여 값 함수 근사에 기능성 노이즈를 주입한다.
• 표본 경로에 대한 확률적 경계를 사용하여 노이즈 함수의 RKHS 노름을 제어함으로써, 무한한 상태에 대한 유니온 바운드를 피한다.
• 기능성 노이즈 메커니즘에 특화된 새로운 기밀성 구성 분석을 적용하여 일반 구성 정리보다 향상된 성능을 달성한다.
• 일반적인 신경망 아키텍처를 통합하는 커널을 활용하여 비선형 값 함수 근사가 가능하도록 한다.
• 모든 노이즈 경로가 지정된 노름 임계값 내에 유지될 확률에 대한 날카운 경계를 유도함으로써 기밀성 파라미터를 도출한다.
• 이산 MDP 환경을 사용하여 방법을 검증하고, 사전 기반 컨텍스트 밴딧 및 차별적 기밀성 딥러닝 기반 기준 모델들과 비교한다.

실험 결과

연구 질문

• RQ1 값 함수가 임의의 새로운 상태에서 쿼리될 경우, 연속 상태 공간 강화 학습에서 차별적 기밀성이 엄밀하게 보장될 수 있는가?
• RQ2 기능성 노이즈는 어떻게 설계되어야 하며, 반복적 Q-학습에서 유틸리티를 유지하면서 기밀성을 보장할 수 있는가?
• RQ3 강화 학습 환경에서 기능성 노이즈 메커니즘에 대해 얻을 수 있는 가장 날카운 기밀성 구성 경계는 무엇인가?
• RQ4 제안된 방법은 차별적 기밀성 하에서 비선형 값 함수 근사기인 신경망을 보호할 수 있는가?
• RQ5 제안된 방법의 유틸리티는 기존의 차별적 기밀성 강화 학습 및 밴딧 알고리즘과 비교해 어떻게 되는가?

주요 결과

• 실험 설정에서 $\sigma=0.32$ 일 때 $(\epsilon=0.9, \delta=10^{-4})$-차별적 기밀성을 확보하며, 높은 신뢰도로 기밀성 목표를 달성한다.
• 더 엄격한 기밀성 제도에서 $\sigma=0.74$ 일 때 $(\epsilon=0.45, \delta=10^{-4})$를 달성하여 낮은 기밀성 예산에 대한 확장성을 입증한다.
• 노이즈 표본 경로에 대한 확률적 경계는 난이도 있는 유니온 바운드보다 뚜렷이 뛰어나며, 더 날카운 기밀성 보장을 가능하게 한다.
• 이론적 분석을 통해 이산 상태 공간에서의 약간의 최적성은 입증되었으며, 전체 딥 RL 분석의 부재에도 불구하고 유틸리티에 대한 통찰을 제공한다.
• 실험 결과 기준 모델들, 즉 사전 기반 컨텍스트 밴딧 및 차별적 기밀성 딥러닝 방법들과 비교해 뛰어난 성능을 보였다.
• 이 방법은 임의의 상태 쿼리 상황에서도 기밀성을 유지하며, 이전 방법들이 새로운 상태 방문에서 실패하는 주요 한계를 극복한다.