[논문 리뷰] Deceptive Reinforcement Learning Under Adversarial Manipulations on Cost Signals

Yunhan Huang, Quanyan Zhu|arXiv (Cornell University)|2019. 06. 24.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 14

한 줄 요약

이 논문은 비용 신호의 악성 조작 하에서 탐색적 강화학습을 분석하기 위한 이론적 프레임워크를 제안한다. 특히 Q-학습을 중심으로 다룬다. 유한하고 침투성이 높은 위조 조작 조건 하에서 수렴성을 증명하고, 악성 공격자가 비용 신호를 조작하여 에이전트가 임의의 목표 정책을 학습하도록 유도할 수 있는 조건을 도출한다. 이는 상태-행동 쌍에 대한 제한된 액세스 조건 하에서도 가능하다.

ABSTRACT

This paper studies reinforcement learning (RL) under malicious falsification on cost signals and introduces a quantitative framework of attack models to understand the vulnerabilities of RL. Focusing on $Q$-learning, we show that $Q$-learning algorithms converge under stealthy attacks and bounded falsifications on cost signals. We characterize the relation between the falsified cost and the $Q$-factors as well as the policy learned by the learning agent which provides fundamental limits for feasible offensive and defensive moves. We propose a robust region in terms of the cost within which the adversary can never achieve the targeted policy. We provide conditions on the falsified cost which can mislead the agent to learn an adversary's favored policy. A numerical case study of water reservoir control is provided to show the potential hazards of RL in learning-based control systems and corroborate the results.

연구 동기 및 목표

• 강화학습(RL) 시스템이 비용 신호의 악성 위조 조작에 노출되었을 때의 취약성을 이해하기 위해.
• 특히 Q-학습에서 강화학습의 비용 신호에 대한 악성 공격를 모델링하기 위한 이론적 프레임워크를 개발하기 위해.
• 악성 공격자가 비용 신호 조작을 통해 RL 에이전트를 원하는 정책으로 유도할 수 있는 조건을 규명하기 위해.
• 악성 공격자가 목표 정책을 달성할 수 없는 비용 신호 영역을 규명하여 방어 전략 수립 가능하도록 하기 위해.
• 수자원 저류지 제어 사례 연구를 통해 이러한 공격의 실제 영향을 시연하기 위해.

제안 방법

• 악성 공격자의 목표, 정보 구조, 비용 신호 조작 능력 등을 정의하는 일반적 공격 모델을 제안한다.
• 유한하고 침투성이 높은 비용 신호 위조 조건 하에서 Q-학습의 수렴성을 분석하고 거의 확실한 수렴성을 증명한다.
• 위조된 비용과 Q-요소의 극한 간의 암묵적 맵을 유도하며, 프레셰 도함수 및 리프시츠 연속성 등의 성질을 확립한다.
• 암묵적 맵을 활용해 악성 공격자가 목표 정책을 달성할 수 없는 비용 신호 영역을 규명한다.
• 암묵적 맵과 유도된 부등식을 활용해, 에이전트가 원하는 정책을 학습하도록 유도하는 위조된 비용 조건을 도출한다.
• 실제 수자원 저류지 제어 사례 연구를 통해 이론적 결과를 검증하고, CPS에서의 비보안 강화학습의 실제 위험을 시각화한다.

실험 결과

연구 질문

• RQ1 비용 신호가 악성으로 위조되었을 때 Q-학습이 수렴하는 조건은 무엇인가?
• RQ2 위조된 비용 신호는 Q-학습에서 학습된 Q-요소와 결과 정책에 어떤 영향을 미치는가?
• RQ3 악성 영향력의 근본적 한계는 무엇인가? 즉, 어느 비용 신호 영역에서 악성 공격자가 목표 정책을 달성할 수 없는가?
• RQ4 악성 공격자가 일부 상태에서만 비용을 위조할 수 있을 경우, 여전히 RL 에이전트를 특정 정책으로 유도할 수 있는가?
• RQ5 에이전트가 악성 공격자의 목적에 부합하는 정책을 학습하도록 하기 위한 위조된 비용의 필수 및 충분 조건은 무엇인가?

주요 결과

• 유한하고 침투성이 높은 악성 위조 조건 하에서 Q-학습은 거의 확실하게 수렴한다.
• Q-요소의 극한은 위조된 비용에 암묵적으로 매핑되며, 이 맵은 명시적인 리프시츠 상수를 가진 균일한 리프시츠 연속성을 가진다.
• 암묵적 맵의 프레셰 도함수는 거의 모든 곳에서 존재하며, 위조된 비용과 무관하게 일정하다. 이는 정책 이동에 대한 분석적 제어를 가능하게 한다.
• 악성 공격자가 어떤 위조 노력에도 불구하고 목표 정책을 달성할 수 없는 비용 신호의 강건한 영역이 규명된다.
• 악성 공격자가 모든 상태-행동 쌍에서 비용을 위조할 수 있다면, 위조된 비용에 대한 명시적 부등식 집합을 만족함으로써 임의의 원하는 정책을 유도할 수 있다.
• 비용 위조가 일부 상태(예: {1,2})로 국한되어 있어도, 악성 공격자는 여전히 목표 정책 $w^{ op}$를 유도할 수 있으며, 수자원 저류지 사례 연구에서 $\tilde{c}$가 $\tilde{Q}^{*}$에 해당하는 $w^{ op}$를 생성하도록 구성된 것으로 나타났다.