[논문 리뷰] Vulnerability-Aware Poisoning Mechanism for Online RL with Unknown Dynamics

Yanchao Sun, Da Huo외 1명|arXiv (Cornell University)|2020. 09. 02.

Adversarial Robustness in Machine Learning참고 문헌 42인용 수 14

한 줄 요약

이 논문은 환경의 동역학에 대한 사전 지식이 없이도 작동하는 온라인 딥 강화학습을 위한 위험도 인지 기반의 풀링 공격인 VA2C-P를 제안한다. 알고리즘의 취약도를 정량화하기 위해 새로운 안정성 반경 지표를 도입함으로써, VA2C-P는 실시간으로 트레이젝터리를 오염시켜 에이전트가 최적 정책을 학습하지 못하게 하거나 제한된 공격 예산 조건에서도 목표 정책으로 유도하는 데 성공한다.

ABSTRACT

Poisoning attacks on Reinforcement Learning (RL) systems could take advantage of RL algorithm's vulnerabilities and cause failure of the learning. However, prior works on poisoning RL usually either unrealistically assume the attacker knows the underlying Markov Decision Process (MDP), or directly apply the poisoning methods in supervised learning to RL. In this work, we build a generic poisoning framework for online RL via a comprehensive investigation of heterogeneous poisoning models in RL. Without any prior knowledge of the MDP, we propose a strategic poisoning algorithm called Vulnerability-Aware Adversarial Critic Poison (VA2C-P), which works for most policy-based deep RL agents, closing the gap that no poisoning method exists for policy-based RL agents. VA2C-P uses a novel metric, stability radius in RL, that measures the vulnerability of RL algorithms. Experiments on multiple deep RL agents and multiple environments show that our poisoning algorithm successfully prevents agents from learning a good policy or teaches the agents to converge to a target policy, with a limited attacking budget.

연구 동기 및 목표

• 공격자가 환경의 동역학을 알지 못하는 상황에서, 특히 온정책 딥 강화학습 에이전트를 대상으로 한 풀링 공격의 핵심적 격차를 메우기.
• 미래 데이터 접근 불가, 비i.i.d. 데이터, 환경 동역학 미지수 등의 과제를 해결하기 위해 온라인 RL 풀링 공격의 도전 과제를 극복하기.
• A2C, PPO, VPG와 같은 정책 기반 딥 강화학습 에이전트에 적용 가능한 실용적이고 실시간 풀링 프레임워크 개발하기.
• 다양한 RL 알고리즘의 풀링 공격에 대한 취약도를 정량화하고 비교하기 위해 새로운 지표인 안정성 반경 도입하기.
• 제한된 공격 예산 조건 하에서 다양한 환경과 최신 기술 기반의 RL 알고리즘에서 제안된 방법의 효과성 입증하기.

제안 방법

• 정책이 상태 공간 내의 작은 변형에 얼마나 쉽게 오도될 수 있는지 정량화함으로써, RL 알고리즘의 취약도를 측정하는 데 사용할 수 있는 새로운 지표인 안정성 반경을 제안한다.
• 온라인 학습 중 실시간으로 최적의 변형 위치를 선정하기 위해 안정성 반경을 활용하는 전략적 풀링 알고리즘인 VA2C-P를 설계한다.
• 공격자가 에이전트의 현재 정책을 관찰하고 각 상호작용 이후 다음 상태에 변형을 삽입할 수 있는 화이트박스 설정에서 작동한다.
• 안정성 반경을 통해 크기와 방향을 지시받는 Fast Gradient Sign Method (FGSM)를 사용하여 다음 상태에 적대적 변형을 생성함으로써 정책 혼란을 최대화한다.
• 재현 버퍼나 샘플링된 미니배치를 조작할 수 있도록 함으로써, SAC와 같은 오프정책 학습자로의 프레임워크 확장하여 광범위한 적용 가능성을 입증한다.
• 환경 모델 추정을 위해 에이전트의 자체 경험 트레이젝터리만을 사용함으로써, 직접적인 환경 상호작용이나 사전 MDP 지식이 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 공격자가 환경의 동역학을 사전에 알지 못하는 상황에서, 온정책 딥 강화학습 에이전트를 대상으로 효과적인 풀링 공격를 설계할 수 있는가?
• RQ2 다양한 RL 알고리즘의 취약도를 정량적으로 측정하고 비교할 수 있는 방법은 무엇인가, 이는 그들의 풀링 공격에 대한 민감도를 반영할 수 있는가?
• RQ3 비i.i.d. 데이터와 미래 데이터 접근 불가가 효과적인 온라인 RL 풀링 공격 설계에 미치는 영향은 무엇인가?
• RQ4 미래 트레이젝터리에 접근할 수 없고 에이전트의 현재 경험만을 사용하는 조건에서 실시간으로 작동하는 풀링 전략을 개발할 수 있는가?
• RQ5 다양한 RL 환경과 알고리즘에서, 타겟 지향적 및 비타겟 지향적 설정 모두에서 풀링이 학습에 얼마나 심각하게 영향을 미칠 수 있는가?

주요 결과

• CartPole 환경에서 VA2C-P는 A2C 및 PPO 에이전트가 안정된 정책을 학습하지 못하게 하여, C/K=1.0의 예산 조건 하에서 평균 에피소드 보상을 약 180에서 50 이하로 감소시켰다.
• Hopper 환경에서 VA2C-P는 동일한 예산 조건 하에서 A2C 에이전트의 평균 에피소드 보상을 약 300에서 100 이하로 감소시켜 연속 제어 과업에서의 효과성을 입증했다.
• 타겟 지향적 풀링의 경우, ϵ=0.05 조건에서 VA2C-P는 500 에피소드 이내에 CartPole에서 타겟 행동 비율을 80% 이상으로 유지했으며, FGSM 기반 기준선보다 뚜렷이 뛰어난 성능을 보였다.
• HalfCheetah 환경에서 VA2C-P는 1000 에피소드 후 A2C 에이전트의 누적 보상치를 약 500에서 100 이하로 감소시켜 복잡한 이동 과업에서의 강건성을 입증했다.
• 블랙박스 설정에서도 메서드가 효과적으로 유지되었으며, 공격자가 정책에 대한 전체 액세스 없이도 에이전트의 행동만 관찰하는 조건에서도 VA2C-P는 강력한 성능 유지를 보였다.
• SAC 기반 오프정책 RL로의 확장은 재현 버퍼를 조작함으로써 학습 성능을 심각하게 악화시킬 수 있음을 보여주며, VA2C-P가 온정책 에이전트를 넘어서 광범위한 적용 가능성을 지닌다는 점을 확인했다.