[논문 리뷰] How You Act Tells a Lot: Privacy-Leakage Attack on Deep Reinforcement Learning

Xinlei Pan, Weiyao Wang외 4명|arXiv (Cornell University)|2019. 04. 24.

Privacy-Preserving Technologies in Data참고 문헌 31인용 수 13

한 줄 요약

이 논문은 딥 강화학습(DRL) 정책에 대한 사생활 유출 공격을 위한 최초의 접근법을 제안하며, 공격자가 훈련된 정책에 대한 블랙박스 접근만으로도 바닥도면이나 로봇 구성과 같은 민감한 환경 동역학을 유추할 수 있음을 입증한다. 유전 알고리즘 기반의 환경 동역학 복원 및 실_shadow 정책 기반 후보 유추 기법을 활용하여, 저자들은 그리드 월드 맵 복원 정확도가 최대 95.83%에 이를 뿐 아니라 연속 제어 및 자율 주행 시뮬레이터에서도 높은 정확도를 달성함으로써 DRL 시스템에서 심각한 사생활 위험을 드러낸다.

ABSTRACT

Machine learning has been widely applied to various applications, some of which involve training with privacy-sensitive data. A modest number of data breaches have been studied, including credit card information in natural language data and identities from face dataset. However, most of these studies focus on supervised learning models. As deep reinforcement learning (DRL) has been deployed in a number of real-world systems, such as indoor robot navigation, whether trained DRL policies can leak private information requires in-depth study. To explore such privacy breaches in general, we mainly propose two methods: environment dynamics search via genetic algorithm and candidate inference based on shadow policies. We conduct extensive experiments to demonstrate such privacy vulnerabilities in DRL under various settings. We leverage the proposed algorithms to infer floor plans from some trained Grid World navigation DRL agents with LiDAR perception. The proposed algorithm can correctly infer most of the floor plans and reaches an average recovery rate of 95.83% using policy gradient trained agents. In addition, we are able to recover the robot configuration in continuous control environments and an autonomous driving simulator with high accuracy. To the best of our knowledge, this is the first work to investigate privacy leakage in DRL settings and we show that DRL-based agents do potentially leak privacy-sensitive information from the trained policies.

연구 동기 및 목표

• 훈련된 딥 강화학습(DRL) 정책이 환경의 전이 동역학에 대해 비밀 정보를 泄露할 수 있는지 조사하기.
• DRL 정책에 대한 블랙박스 접근만을 사용하여 바닥도면이나 로봇 구성과 같은 민감한 환경 구조를 복원하는 실용적인 공격 방법 개발하기.
• 이산(그리드 월드) 및 연속 제어(Hopper, 하프-치타, 바이페달 워커, TORCS) 환경에서 사생활 유출 공격의 타당성과 정확도 평가하기.
• 변형된 환경에서의 일반화 능력을 향상시켜 DRL 정책가 이러한 사생활 유출 공격에 강건해지도록 설계하는 데 통찰 제공하기.

제안 방법

• 주어진 DRL 정책의 행동을 재현할 수 있는 전이 동역학을 찾기 위해 상태 및 행동 공간에 제약 조건이 있는 그리드 월드에서 유전 알고리즘을 제안한다.
• 알려진 후보 환경에서 훈련된 실_shadow 정책을 사용하여, 타겟 정책이 어느 환경에서 훈련되었는지 식별하는 후보 유추 프레임워크를 도입한다.
• 정책의 성능을 여러 후보 동역학에서 측정하여 입력 특징으로 사용하는 성능 프로파일을 생성하고, 선형 서포트 벡터 머신(SVM) 분류기를 사용하여 정책의 훈련 환경을 예측한다.
• 다양한 후보 환경에서 정책 롤아웃을 수행하여 SVM 분류기의 입력 특징으로 사용할 성능 프로파일을 생성한다.
• 이 공격을 이산(그리드 월드) 및 연속 제어(Hopper, 하프-치타, 바이페달 워커, TORCS) 환경에 적용하여 일반화 능력 평가한다.
• 난수 시드와 환경의 변형에 따른 공격의 정합성과 일반화 능력을 평가하기 위해 다양한 조건에서 공격를 검증한다.

실험 결과

연구 질문

• RQ1 공격자가 블랙박스 접근만으로도 훈련된 DRL 정책을 통해 장애물 배치나 지형 구조와 같은 원래의 환경 동역학을 유추할 수 있는가?
• RQ2 정책의 행동에 기반해 유전 알고리즘이 그리드 월드 환경의 진짜 전이 동역학을 어느 정도 정확하게 복원할 수 있는가?
• RQ3 실_shadow 정책 기반의 유추 방법이 후보 동역학 집합 중에서 정책의 훈련 환경을 정확하게 식별할 수 있는가?
• RQ4 정책이 변형된 환경에서의 일반화 능력이 사생활 유출 공격의 성공률에 어떤 영향을 미치는가?
• RQ5 이러한 사생활 누출이 민감하거나 기밀 정보가 포함된 환경 데이터를 포함하는 실세계 DRL 구현에 어떤 영향을 미치는가?

주요 결과

• 제안된 유전 알고리즘이 정책 그라디언트 기반 훈련된 에이전트를 사용하여 평균 95.83%의 복원률로 원래의 그리드 월드 바닥도면을 성공적으로 복원한다.
• 연속 제어 환경(Hopper, 하프-치타, 바이페달 워커)에서는 SVM 분류기를 사용한 후보 유추 방법이 정책 롤아웃 성능 기반으로 훈련 환경을 높은 정확도로 식별한다.
• TORCS 자율 주행 시뮬레이터에서는 후보 동역학 간 성능 차이가 뚜렷하여 훈련 환경을 정확하게 식별할 수 있음을 입증한다.
• 다양한 난수 시드와 환경의 변형 조건에서도 공격가 강건함을 보이며, 일반화 능력이 있는 정책조차도 사생활 정보를 누출할 수 있음을 시사한다.
• 결과적으로, PPO와 DQN과 같은 표준 알고리즘으로 훈련된 DRL 정책는 훈련 환경의 구조적 세부 정보를 기억하고 유출할 수 있으며, 이는 심각한 사생활 위험을 초래한다.
• 변형된 환경에서의 일반화 능력이 뛰어난 정책는 이러한 사생활 공격에 더 강건함을 보이며, 이는 사생활 보호를 고려한 DRL 설계 방향을 제시한다.