[논문 리뷰] Manipulating Reinforcement Learning: Poisoning Attacks on Cost Signals

Yunhan Huang, Quanyan Zhu|arXiv (Cornell University)|2020. 02. 07.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 4

한 줄 요약

이 논문은 강화학습에서 비용 신호를 조작함으로써 암시적인 품질 공격을 조사하며, TD-학습의 근사 오차가 공격 강도의 정수배로 제한되며, λ 매개수와는 무관하다는 것을 보여준다. Q-학습의 경우, 공격이 학습된 정책을 변경할 수 없는 강건한 영역을 규명하여, 적대적 강화학습 환경에서 공격 및 방어 전략의 근본적 한계를 설정한다.

ABSTRACT

This chapter studies emerging cyber-attacks on reinforcement learning (RL) and introduces a quantitative approach to analyze the vulnerabilities of RL. Focusing on adversarial manipulation on the cost signals, we analyze the performance degradation of TD($λ$) and $Q$-learning algorithms under the manipulation. For TD($λ$), the approximation learned from the manipulated costs has an approximation error bound proportional to the magnitude of the attack. The effect of the adversarial attacks on the bound does not depend on the choice of $λ$. In $Q$-learning, we show that $Q$-learning algorithms converge under stealthy attacks and bounded falsifications on cost signals. We characterize the relation between the falsified cost and the $Q$-factors as well as the policy learned by the learning agent which provides fundamental limits for feasible offensive and defensive moves. We propose a robust region in terms of the cost within which the adversary can never achieve the targeted policy. We provide conditions on the falsified cost which can mislead the agent to learn an adversary's favored policy. A case study of TD($λ$) learning is provided to corroborate the results.

연구 동기 및 목표

• 강화학습(RL) 알고리즘의 비용 신호에 대한 적대적 조작에 대한 취약성을 분석하기 위해.
• 암시적인 비용 신호 위변조 상황에서 TD-학습과 Q-학습의 성능 저하를 정량화하기 위해.
• Q-학습에서 공격이 목표를 달성할 수 없는 강건한 영역을 특성화함으로써, 적대적 강화학습 환경에서의 공격 및 방어 전략에 대한 근본적 한계를 설정하기 위해.
• TD-학습에서 비용 신호 조작이 유도하는 근사 오차에 대한 이론적 경계를 제공하기 위해.
• 欺瞞 피드백 공격에 강건한 강화학습 시스템 설계를 위한 통찰을 제공하기 위해.

제안 방법

• 적대자가 마르코프 결정 과정 프레임워크 내에서 비용 신호를 조작하는 일반적인 공격 모델을 수립한다.
• 조작된 비용 하에서 TD(λ) 학습을 분석하며, 공격 강도에 비례하는 근사 오차의 경계를 유도한다. 이 경계는 λ에 영향을 받지 않는다.
• 함수 근사와 함께 파arameterized 값 함수를 사용하여 비용-지출을 추정하기 위해 TD(λ) 알고리즘을 적용한다.
• 오차 전파에 대한 이론적 경계를 시뮬레이션하고 검증하기 위해 20개 상태를 가진 마르코프 체인 문제를 사례 연구로 활용한다.
• Q-학습에서 위변조된 비용과 학습된 Q-요소 간의 관계를 특성화하며, 공격이 에이전트를 오도할 수 있는 조건을 규명한다.
• 적대자가 목표 정책을 유도할 수 없는 강건한 영역을 비용 공간에서 유도하며, 공격자와 방어자 모두의 전략적 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 비용 신호의 적대적 조작은 TD-학습 알고리즘의 수렴성과 정확성에 어떤 영향을 미치는가?
• RQ2 비용 신호가 위변조된 경우, TD(λ) 학습에서 근사 오차의 근본적 경계는 무엇인가?
• RQ3 어떤 조건에서 적대자는 비용 신호 조작을 통해 Q-학습 에이전트를 원하는 정책으로 유도할 수 있는가?
• RQ4 Q-학습에서 공격이 학습된 정책을 변경할 수 없는 비용 공간의 강건한 영역의 크기와 구조는 무엇인가?
• RQ5 TD(λ)에서 λ의 선택은 비용 신호 조작에 대한 학습 알고리즘의 민감도에 어떤 영향을 미치는가?

주요 결과

• 비용 신호 조작 하에서 TD(λ) 학습의 근사 오차는 공격 강도의 정수배로 제한되며, 이 경계는 λ 매개수와는 무관하다.
• Q-학습의 경우, 위변조된 비용이 정의된 강건한 영역 내에 있을 경우, 적대자는 자신의 목표를 달성할 수 없다. 이 강건한 영역는 비용 편차에 대한 특정 조건을 포함한다.
• TD(λ) 학습에서 근사 오차에 대한 이론적 경계는 20개 상태의 마르코프 체인 사례 연구를 통해 검증되었으며, 공격 강도에 비례하는 일관된 오차 증가를 보였다.
• 상태 i20에서의 단일 포인트 비용 신호 조작만으로도 모든 상태에서 추정된 비용-지출 함수에 심각한 편차가 발생함을 보여주며, 오차 전파를 입증한다.
• Q-학습의 강건한 영역는 전략적 경계를 제공한다: 방어자는 시스템의 강건성을 평가할 수 있고, 공격자는 자신의 목표 이행 가능성 평가가 가능하다.
• 결과적으로 공격는 성능 저하를 유도할 수 있지만, 특히 Q-학습에서 비용의 안전한 영역가 존재하므로 공격의 효과에는 본질적인 한계가 있음을 보여준다.