[논문 리뷰] The Faults in Our Pi Stars: Security Issues and Open Challenges in Deep Reinforcement Learning

Vahid Behzadan, Arslan Munir|arXiv (Cornell University)|2018. 10. 23.

Adversarial Robustness in Machine Learning참고 문헌 71인용 수 20

한 줄 요약

이 논문은 딥 강화학습(DRL)의 보안 문제를 정식화하며, 취약성, 공격 벡터, 적대적 능력을 분류하는 종합적인 위협 모델을 제안한다. 기존의 공격 및 방어 기법을 검토하고, 핵심적인 열린 연구 과제를 규명하며, 훈련 및 추론 단계에서의 의도적인 조작에 대비한 DRL 시스템 보안을 위한 로드맵을 제공한다.

ABSTRACT

Since the inception of Deep Reinforcement Learning (DRL) algorithms, there has been a growing interest in both research and industrial communities in the promising potentials of this paradigm. The list of current and envisioned applications of deep RL ranges from autonomous navigation and robotics to control applications in the critical infrastructure, air traffic control, defense technologies, and cybersecurity. While the landscape of opportunities and the advantages of deep RL algorithms are justifiably vast, the security risks and issues in such algorithms remain largely unexplored. To facilitate and motivate further research on these critical challenges, this paper presents a foundational treatment of the security problem in DRL. We formulate the security requirements of DRL, and provide a high-level threat model through the classification and identification of vulnerabilities, attack vectors, and adversarial capabilities. Furthermore, we present a review of current literature on security of deep RL from both offensive and defensive perspectives. Lastly, we enumerate critical research venues and open problems in mitigation and prevention of intentional attacks against deep RL as a roadmap for further research in this area.

연구 동기 및 목표

• 딥 강화학습(DRL)의 보안 취약성에 대한 연구 격차를 해소하기 위해, 이는 비록 핵심 시스템에 점점 더 많이 도입되고 있음에도 불구하고 여전히 거의 탐색되지 않은 분야이다.
• 딥 강화학습에서의 안전성(유해 행동을 피하는 것)과 보안성(의도적인 적대적 조작에 저항하는 것)을 구분하며, 현재의 안전한 강화학습 접근법이 의도적인 공격을 다루지 못하고 있음을 강조한다.
• 훈련 및 추론 단계 전반에 걸쳐 공격 표면, 적대적 능력, 공격 목표를 식별하는 일반적인 위협 모델을 개발한다.
• 공격 및 방어 기법, 벤치마크, 평가 지표를 포함한 DRL 보안 분야의 최신 기술 동향을 검토한다.
• 미래의 DRL 시스템을 적대적 위협으로부터 강화하기 위한 연구를 이끄는 데 기여할 수 있는 핵심적인 열린 연구 과제를 규명하고 우선순위를 정한다.

제안 방법

• 정책 파라미터, 가치 함수, 경험 재생 버퍼와 같은 공격 표면을 정의하여 DRL의 보안 문제를 정식화한다.
• 적대적 능력(예: 화이트박스, 블랙박스 액세스)과 공격 목표(예: 정책 조작, 보상 오염)를 분류하는 위협 모델을 제안한다.
• 훈련 및 추론 단계에서의 공격를 분석하며, 데이터 오염, 보상 조작, 관측값에 대한 적대적 편향을 포함한다.
• 적대적 훈련, 강건한 가치 함수 추정, DRL 내 온라인 이상 탐지와 같은 기존 방어 기법을 조사한다.
• 실시간으로 이상 행동을 보이는 정책을 최소한의 간섭으로 수정하기 위한 온라인 조정 기법과 같은 새로운 연구 분야를 제안한다.
• 딥 강화학습 에이전트 행동과 인간의 정신 장애(예: 중독, 외상 후 스트레스 장애) 사이의 심리학적 유사성을 도출하여 임상 모델 기반의 새로운 완화 전략을 모색한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 시스템에서 훈련 및 추론 단계 동안의 주요 보안 취약성과 공격 벡터는 무엇인가?
• RQ2 적대적 능력(예: 액세스 수준, 아키텍처에 대한 지식)이 DRL 에이전트에 대한 공격의 가능성과 영향력에 어떻게 영향을 미치는가?
• RQ3 의도적인 조작에 대비한 DRL 에이전트를 방어하기 위한 핵심적인 열린 연구 과제는 무엇이며, 이를 체계적으로 해결할 수 있는 방법은 무엇인가?
• RQ4 중독 및 행동 장애의 심리학적 모델은 안전하고 내성적인 DRL 에이전트 설계에 얼마나 기여할 수 있는가?
• RQ5 학습 과정을 방해하지 않으면서도, 온라인 조정 메커니즘을 통해 적대적 정책 이탈을 탐지하고 수정할 수 있는 방법은 어떻게 개발할 수 있는가?

주요 결과

• DRL의 보안 문제는 의도적인 조작을 포함하는 반면, 안전한 강화학습은 사고로 인한 유해 행동을 방지하는 데 초점이 있기 때문에 본질적으로 다릅니다.
• DRL에서의 적대적 공격는 훈련 및 추론 단계 모두에서 발생할 수 있으며, 경험 재생 오염, 보상 조작, 관측값 편향이 포함됩니다.
• 적대적 훈련 및 강건한 가치 추정과 같은 현재의 방어 기법은 전반적인 일반화 및 복잡한 환경에 대한 확장성에서 한계를 보이며, 여전히 유망한 기술로 남아 있습니다.
• 실시간으로 이상 행동을 보이는 정책을 탐지하고 수정하기 위한 온라인 조정 메커니즘은 거의 탐색되지 않은 채로 중요한 연구 방향으로 남아 있습니다.
• 와이어헤딩을 중독 행동으로, 부정적 보상에 노출되는 것을 외상으로 보는 심리학적 유사성은 정책 조작을 이해하고 완화하는 데 새로운 비유를 제공합니다.
• 오프 스위치 및 중단 가능성과 같은 보안 AI 안전 메커니즘은 보안 고려 없이 설계될 경우 새로운 공격 벡터를 유발할 수 있으며, 이는 통합된 보안 중심 설계 원칙의 필요성을 강조합니다.