[논문 리뷰] Differentially Private Policy Evaluation

Borja Balle, Maziar Gomrokchi외 1명|arXiv (Cornell University)|2016. 03. 07.

Privacy-Preserving Technologies in Data참고 문헌 8인용 수 9

한 줄 요약

이 논문은 마르코프 결정 과정(MDP)에서 강화학습 정책 평가를 위한 최초의 비차별적(private) 알고리즘을 제안하며, 두 가지 다른 접근 방식인 LSL과 LSW를 통해 값 함수 매개변수에 가우시안 노이즈를 주입함으로써 강력한 비밀 보장 성능을 달성한다. 이는 배치 크기가 증가할수록 유용성 손실가 점점 감소하는 방식으로, 특히 대용량 데이터 환경에서 매우 효과적이다.

ABSTRACT

We present the first differentially private algorithms for reinforcement learning, which apply to the task of evaluating a fixed policy. We establish two approaches for achieving differential privacy, provide a theoretical analysis of the privacy and utility of the two algorithms, and show promising results on simple empirical examples.

연구 동기 및 목표

• 완전한 MDP 강화학습을 위한 비차별적 방법의 부족을 해결하기 위해, 특히 정책 평가에 초점을 맞춘다.
• 개인 데이터를 보호해야 하는 민감한 응용 분야(예: 헬스케어 및 추천 시스템)에서의 비밀 보장을 확보한다.
• 학습 데이터 크기가 증가함에 따라도 높은 유용성을 유지하는 비차별적 알고리즘을 개발한다.
• 비차별적(private) 정책 평가에서의 비밀 보장-유용성 트레이드오프를 공식적으로 분석한다.
• 기존의 출력 편향 기법을 비리프시프트(Lipschitz)가 아닌, 궤적 기반 학습 환경으로 확장한다.

제안 방법

• 두 가지 비차별적 몬테카를로 정책 평가 알고리즘인 LSL(Local Sensitivity) 및 LSW(Smooth Sensitivity with Weighting)를 제안한다.
• 로컬 감도 또는 스무스 감도를 기반으로 보정된 가우시안 노이즈를 값 함수 매개변수에 주입하여 (ε,δ)-비차별적(private) 보장을 확보한다.
• 정책 평가에서 손실 함수의 비리프시프트 성격을 다루기 위해 스무스 감도 프레임워크를 사용한다.
• 이웃 데이터셋이 단일 데이터 포인트가 아니라 전체 궤적에서 다를 수 있는 궤적 수준의 데이터 차이에 맞춰진 출력 편향 메커니즘을 적용한다.
• LSL 방법에서 유용성과 비밀 보장을 균형 잡기 위해 √m 비례 정규화 스케줄을 활용한다.
• 상태 집계와 함수 근사 기법을 사용하여 매개변수 수를 줄여 노이즈 효율성과 수렴 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 값 함수 추정의 비리프시프트 성격을 감안할 때, 비차별적(private) 기법이 완전한 MDP 정책 평가에 의미 있게 적용될 수 있는가?
• RQ2 이웃 데이터셋이 단일 데이터 포인트가 아니라 전체 궤적에서 다를 경우, 비차별적(private) 보장을 어떻게 달성할 수 있는가?
• RQ3 배치 크기가 비차별적(private) 정책 평가에서 비밀 보장-유용성 트레이드오프에 미치는 영향은 무엇인가?
• RQ4 비밀 보장 조건 하에서 LSL과 LSW 접근 방식은 수렴 속도와 정확도 측면에서 어떻게 비교되는가?
• RQ5 강한 함수 근사 기법이 비차별적(private) 정책 평가 알고리즘의 성능 향상에 기여할 수 있는가?

주요 결과

• 충분히 큰 배치 크기에서 DP-LSL 및 DP-LSW 알고리즘이 비차별적(private) 몬테카를로 방법과 동일한 해에 수렴한다.
• 큰 배치 크기에서는 비차별적(private) 보장으로 인한 유용성 손실이 급격히 감소하며, RMSE가 비차별적(private) 방법과 유사해진다.
• 작은 배치에서는 LSL 접근 방식이 더 우수한 성능을 보이며, 큰 배치에서는 LSW 접근 방식이 더 효과적이다.
• 강한 함수 근사 기법은 매개변수 수를 줄여 스무스 감도를 낮추고 노이즈 효율성을 향상시킨다.
• 이론적 분석 결과, 배치 크기가 증가할수록 비밀 보장 비용이 감소함을 확인하여 실세계 응용 분야에서의 확장 가능성을 뒷받침한다.
• 실험 결과는 두 DP 알고리즘이 높은 정확도를 유지하면서도 공식적인 (ε,δ)-비차별적(private) 보장 기능을 제공한다는 것을 확인한다.