[논문 리뷰] Certified Adversarial Robustness for Deep Reinforcement Learning

Björn Lütjens, Michael Everett외 1명|arXiv (Cornell University)|2019. 10. 28.

Adversarial Robustness in Machine Learning참고 문헌 49인용 수 46

한 줄 요약

이 논문은 온라인 인증 방어(CARRL)를 도입하여 bounded input perturbations 하에서 상태-행동 값의 보장된 하한을 계산하고, 딥 RL 과제에서 적대자와 노이즈에 강건하게 행동을 선택한다.

ABSTRACT

Deep Neural Network-based systems are now the state-of-the-art in many robotics tasks, but their application in safety-critical domains remains dangerous without formal guarantees on network robustness. Small perturbations to sensor inputs (from noise or adversarial examples) are often enough to change network-based decisions, which was already shown to cause an autonomous vehicle to swerve into oncoming traffic. In light of these dangers, numerous algorithms have been developed as defensive mechanisms from these adversarial inputs, some of which provide formal robustness guarantees or certificates. This work leverages research on certified adversarial robustness to develop an online certified defense for deep reinforcement learning algorithms. The proposed defense computes guaranteed lower bounds on state-action values during execution to identify and choose the optimal action under a worst-case deviation in input space due to possible adversaries or noise. The approach is demonstrated on a Deep Q-Network policy and is shown to increase robustness to noise and adversaries in pedestrian collision avoidance scenarios and a classic control task.

연구 동기 및 목표

• 안전이 중요한 로봇공학 작업을 위한 딥 RL에서 강건성 보장의 필요성을 제시한다.
• 가변 스케일 입력에 대한 강건성 인증 방법을 딥 RL에 적응・확장한다.
• 최악의 경우 Q값 하한을 사용하여 행동을 선택하는 온라인 방어를 제공한다.
• 충돌 회피 및 CartPole 도메인에서 강건성 개선을 입증한다.

제안 방법

• Q_L(s_adv, a_j)을 s_adv를 중심으로 한 epsilon-볼의 모든 s에 대해 Q_l(s, a_j)의 최솟값으로 정의한다.
• 다양한 입력 스케일을 다루기 위해 벡터-값 epsilon에 대한 강건성 인증을 확장한다.
• 네트워크의 A 행렬과 ReLU bound 매개변수를 사용하여 Q_L의 닫힌 형식의 계산식을 도출한다.
• Q_L을 행동 선택에 통합하여 a* = argmax_j Q_L(s_adv, a_j)로 선택한다.
• 실행 중 온라인 방어 노드를 갖춘 Deep Q-Networks(DQN)에 이 접근법을 적용한다.
• 실시간 타당성을 입증한다 (bounds에 대한 forward pass 약 2ms, 행동 질의당 총 약 20ms).

실험 결과

연구 질문

• RQ1 입력 교란에 대한 보장을 제공하기 위해 강건성 인증을 딥 RL에 어떻게 적용할 수 있는가?
• RQ2 다양한 센서 스케일의 벡터 값 입력 교란을 인증 경계에서 효과적으로 처리할 수 있는가?
• RQ3 RL 태스크에서 적대적이거나 노이즈가 있는 관찰에 대해 Q-값의 인증된 하한을 사용하면 안전성 및 성능이 향상되는가?
• RQ4 충돌 회피 및 클래식 제어 태스크에서 인증된 방어의 성능에 대한 영향은 무엇인가?
• RQ5 온라인 실행에서 실시간 RL 시스템에 대해 인증된 방어가 실행 가능한가?

주요 결과

• 제안된 인증 방어(CARRL)는 충돌 회피 시나리오에서 적대적 교란 및 노이즈에 의해 발생하는 충돌을 감소시킨다.
• 이 접근법은 Q_L을 최대화하여 강건한 행동 선택을 제공하고, 교란 하에서 보상을 개선하는 동시에 교란이 없는 경우의 성능은 유지한다.
• 벡터 값 교란으로의 인증 확장은 로봇 관찰의 다양한 센서 스케일을 처리할 수 있게 한다.
• 이 방법은 CartPole에도 일반화되며 일부 설정에서 소폭 손실이 있더라도 노이즈에 대한 강건성이 향상된다.
• 런타임 결과는 이 방어가 실시간 사용에 타당함을 시사하며(전방 통과 시간 및 총 지연이 보고됨).