[논문 리뷰] Detecting Adversarial Attacks on Neural Network Policies with Visual Foresight

Yen-Chen Lin, Ming-Yu Liu외 2명|arXiv (Cornell University)|2017. 10. 02.

Adversarial Robustness in Machine Learning참고 문헌 41인용 수 34

한 줄 요약

이 논문은 행동 조건화 프레임 예측 모델을 사용하여 관측된 프레임과 예측된 프레임 간의 행동 분포를 비교하여 딥 강화학습 정책에 대한 적대적 공격을 탐지하는 방어 메커니즘을 제안한다. 이 방법은 적대적 입력을 감지할 경우 예측 결과로 전환하여 공격 상황에서도 성능을 유지하며, Atari 2600 환경에서 기준선 대비 뛰어난 성능을 발휘한다.

ABSTRACT

Deep reinforcement learning has shown promising results in learning control policies for complex sequential decision-making tasks. However, these neural network-based policies are known to be vulnerable to adversarial examples. This vulnerability poses a potentially serious threat to safety-critical systems such as autonomous vehicles. In this paper, we propose a defense mechanism to defend reinforcement learning agents from adversarial attacks by leveraging an action-conditioned frame prediction module. Our core idea is that the adversarial examples targeting at a neural network-based policy are not effective for the frame prediction model. By comparing the action distribution produced by a policy from processing the current observed frame to the action distribution produced by the same policy from processing the predicted frame from the action-conditioned frame prediction module, we can detect the presence of adversarial examples. Beyond detecting the presence of adversarial examples, our method allows the agent to continue performing the task using the predicted frame when the agent is under attack. We evaluate the performance of our algorithm using five games in Atari 2600. Our results demonstrate that the proposed defense mechanism achieves favorable performance against baseline algorithms in detecting adversarial examples and in earning rewards when the agents are under attack.

연구 동기 및 목표

• 자율 주행과 같은 안전 중심 응용 분야에서 DNN 기반 강화학습 정책이 적대적 예외에 취약한 문제를 해결하기 위해.
• 시간적 일관성과 행동 조건화 프레임 예측을 활용해 순차적 의사결정 과제에서 적대적 입력을 탐지하는 방어 메커니즘을 개발하기 위해.
• 손상된 관측값 대신 예측된 프레임 기반 행동 제안을 제공함으로써 공격 상황에서도 작업을 계속 수행할 수 있도록 에이전트를 지원하기 위해.
• 학습 시 적대적 예제가 필요 없고 다양한 DNN 기반 정책에 효과적인 모델에 종속되지 않는 방어 기법을 만들기 위해.

제안 방법

• 과거 프레임과 행동에서 현재 프레임을 예측하는 행동 조건화 프레임 예측 모델(시각적 전망 모듈)을 훈련한다.
• 예측된 프레임을 동일한 정책에 입력으로 사용하고, 관측된 프레임에서의 행동 분포와 비교한다.
• 관측된 프레임과 예측된 프레임의 행동 분포가 유의미하게 다를 경우 적대적 공격을 탐지한다.
• 적대적 탐지가 활성화되면 관측된 프레임을 예측된 프레임으로 전환하여 에이전트가 계속 행동할 수 있도록 한다.
• 다중 프레임과 행동 간의 시간적 일관성을 활용하여 단일 프레임의 적대적 편향에 대한 탐지 강인성을 향상시킨다.
• 프레임 예측의 평균 제곱오차(MSE)를 모델 정확도의 대체 지표로 사용하며, 이는 탐지 성능와 상관관계가 있음.

실험 결과

연구 질문

• RQ1 시간적 일관성과 행동 조건화 프레임 예측는 DRL 정책에서 적대적 예외를 탐지하는 데 사용될 수 있는가?
• RQ2 프레임 예측 모델의 정확도가 적대적 예외 탐지 성능에 어떤 영향을 미치는가?
• RQ3 예측된 프레임에 의존함으로써 에이전트는 지속적인 적대적 공격 상황에서도 작업 성능을 유지할 수 있는가?
• RQ4 순차적 의사결정 환경에서 기존의 이미지 분류 기반 적대적 탐지 방법과 비교해 본다면, 제안된 방법은 어떤가?
• RQ5 탐지 메커니즘을 알고 있는 적응형 공격자에 대해서도 방어가 효과적인가?

주요 결과

• 제안된 방어 기법은 이미지 분류 분야의 강력한 기준선 탐지기들보다 높은 평균 정밀도(mAP)를 달성한다.
• 프레임 예측 정확도와 탐지 성능 간의 강한 상관관계가 확인되었으며, 프레임 예측 모델의 MSE가 낮을수록 mAP가 향상됨.
• Atari 2600 환경에서, 에이전트는 공격을 받는 시간 단위의 비율이 높아도 예측된 프레임으로 전환함으로써 높은 보상 성능을 유지했다.
• 이전 프레임이 손상되었을 가능성마저도 고려할 수 있었는데, 이는 프레임 예측 모델이 타깃이 되지 않는 적대적 편향에 대해 내성적 저항성을 지녔기 때문이다.
• 학습 시 적대적 예제가 필요 없고 모델에 종속되지 않아 다양한 DNN 기반 정책에 널리 적용 가능하다.
• 기존 방어 기법인 적대적 훈련 또는 방어적 정제와의 통합이 가능하며, 시간 정보를 서로 다른 방식으로 활용하므로 상호 보완적일 수 있다.