[논문 리뷰] Actor Critic with Differentially Private Critic

Jonathan Lebensold, William L. Hamilton외 2명|arXiv (Cornell University)|2019. 10. 14.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 5

한 줄 요약

이 논문은 민감한 트레이젝터리가 포함된 강화학습 환경에서 신뢰할 수 있는 프로듀서가 DP-LSL을 사용해 정책을 비밀리에 평가하고 크리틱을 초기화함으로써, 신뢰할 수 없는 소비자에게 샘플 효율적인 전이 학습을 가능하게 하는 차별적 비밀 보장 강화학습 프레임워크를 제안한다. 이 방법은 민감한 트레이젝터리의 기밀을 유지하면서도 하류 작업에서 학습 효율을 향상시키며, 강력한 비밀 보장 예산 조건에서도 수렴 속도가 빠른 것으로 실험 결과가 입증된다.

ABSTRACT

Reinforcement learning algorithms are known to be sample inefficient, and often performance on one task can be substantially improved by leveraging information (e.g., via pre-training) on other related tasks. In this work, we propose a technique to achieve such knowledge transfer in cases where agent trajectories contain sensitive or private information, such as in the healthcare domain. Our approach leverages a differentially private policy evaluation algorithm to initialize an actor-critic model and improve the effectiveness of learning in downstream tasks. We empirically show this technique increases sample efficiency in resource-constrained control problems while preserving the privacy of trajectories collected in an upstream task.

연구 동기 및 목표

• 의료 분야와 같이 에이전트의 트레이젝터리에 민감한 정보가 포함된 강화학습 환경에서 기밀 보장 지식 전이를 가능하게 하기 위해.
• 상游 데이터로부터 정제된 가치 함수 초기화를 활용하여 하류 강화학습 작업에서의 샘플 비효율성 문제를 해결하기 위해.
• 신뢰할 수 있는 집계자가 비밀 보장 가치 함수를 공유하여 하류의 신뢰할 수 없는 환경에서 학습을 가속화하는 프로듀서-소비자 신뢰 모델을 설계하기 위해.
• 차별적 비밀 보장 정책 평가가 강력한 기밀 보장 보장을 유지하면서도 액터-크리틱 에이전트를 효과적으로 초기화할 수 있는지 평가하기 위해.

제안 방법

• 프로듀서는 비밀 보장 최소 제곱 회귀 알고리즘인 DP-LSL을 사용하여 개인 트레이젝터리 데이터베이스에서 상태가치 함수를 추정한다.
• DP-LSL의 출력인 정규화된 최소 제곱 추정치 $\hat{\theta}^\lambda_X$ 는 액터-크리틱 프레임워크 내 크리틱의 파라미터 $\mathbf{w}$ 를 초기화하는 데 사용된다.
• 소비자는 비밀 보장 가치 함수 $\hat{v}(s, \mathbf{w})$ 를 사용해 크리틱을 초기화한 후, 자체 환경에서 표준 액터-크리틱 학습을 수행한다.
• 차별적 비밀 보장은 DP-LSL 추정 과정에 캘리브레이션된 노이즈를 추가함으로써 확보되며, 비밀 보장 파라미터 $\epsilon$ 과 $\delta = 1/m$ 이다.
• 이 방법은 각 트레이젝터리가 한 사용자의 기여로 간주되며, 비밀 보장은 개별 트레이젝터리가 최종 가치 함수 추정치에 미치는 影響를 제한함으로써 유지된다.
• 이 방법은 100개 상태를 가진 MDP와 OpenAI Gym의 Taxi-V2 환경에서 평가되었으며, 비밀 보장 초기화 유무에 따른 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 차별적 비밀 보장 정책 평가 알고리즘이 기밀 보장 가치 함수 추정치를 제공하면서도 학습 트레이젝터리의 기밀을 유지하면서 액터-크리틱 강화학습 프레임워크의 크리틱을 초기화할 수 있는가?
• RQ2 비밀 보장 가치 함수 초기화가 하류 강화학습 작업에서 샘플 효율성을 향상시키는가?
• RQ3 비밀 보장 예산 $\epsilon$ 을 변화시킬 경우, 소비자 환경에서 전이된 정책의 성능에 어떤 영향을 미치는가?
• RQ4 비밀 보장 가치 함수 전이를 사용하는 데 있어 비밀 보장 예산이 좁을 경우에도 측정 가능한 이점이 존재하는가?

주요 결과

• 비밀 보장 크리틱으로 초기화된 액터-크리틱 에이전트는 MDP-100 및 Taxi-V2 환경에서 비비밀 초기화보다 더 빠른 수렴을 달성했다.
• Taxi-V2 환경에서 비밀 보장 초기화를 사용한 에이전트는 10,000 에피소드 만에 수렴했고, 비비밀 초기화의 경우 15,000 에피소드가 소요되었다.
• 비밀 보장 예산 $\epsilon$ 을 두 개의 지수 단위로 변화시켜도 성능에 미치는 영향이 거의 없었으며, 이는 기밀-유용성 트레이드오프에 대해 강건함을 시사한다.
• 이 방법은 DP 노이즈가 존재하는 상황에서도 전이된 가치 함수가 샘플 효율성을 크게 향상시킴을 입증하여, 기밀 지식 전이가 효과적임을 보여주었다.
• 프로듀서의 에피소드 수를 10,000에서 50,000으로 늘일수록 전이 성능이 더욱 향상되었으며, 이는 데이터 양 증가에 따라 확장 가능함을 시사한다.
• 결과는 기밀 보장, 자료 제한 환경에서 비밀 보장 가치 함수 전이가 실질적인 이점을 제공함을 확인한다.