[논문 리뷰] Adversarial Attacks on Reinforcement Learning based Energy Management Systems of Extended Range Electric Delivery Vehicles

Pengyue Wang, Yan Li외 2명|arXiv (Cornell University)|2020. 06. 01.

Adversarial Robustness in Machine Learning참고 문헌 18인용 수 9

한 줄 요약

이 논문은 저차원 상태 표현을 사용하는 확장 범위 전기 배송 차량의 딥 강화 학습(DRL) 기반 에너지 관리 시스템에 대한 적대적 공격을 조사한다. PGD 및 FGSM과 같은 빠른 적대적 공격 방법을 사용하여 상태 입력을 최소 노름으로 훼손함으로써, 연구는 DRL 에이전트의 성능이 심각하게 저하될 수 있음을 입증하며, 실세계 자율 운송 시스템에서의 임계적인 보안 취약성을 드러낸다.

ABSTRACT

Adversarial examples are firstly investigated in the area of computer vision: by adding some carefully designed ''noise'' to the original input image, the perturbed image that cannot be distinguished from the original one by human, can fool a well-trained classifier easily. In recent years, researchers also demonstrated that adversarial examples can mislead deep reinforcement learning (DRL) agents on playing video games using image inputs with similar methods. However, although DRL has been more and more popular in the area of intelligent transportation systems, there is little research investigating the impacts of adversarial attacks on them, especially for algorithms that do not take images as inputs. In this work, we investigated several fast methods to generate adversarial examples to significantly degrade the performance of a well-trained DRL- based energy management system of an extended range electric delivery vehicle. The perturbed inputs are low-dimensional state representations and close to the original inputs quantified by different kinds of norms. Our work shows that, to apply DRL agents on real-world transportation systems, adversarial examples in the form of cyber-attack should be considered carefully, especially for applications that may lead to serious safety issues.

연구 동기 및 목표

• 확장 범위 전기 배송 차량의 DRL 기반 에너지 관리 시스템이 적대적 공격에 취약한지 조사하기.
• 이미지에서 유도되지 않은 저차원 상태 입력에 대해 빠른 적대적 공격 방법의 효과성을 평가하기.
• 다양한 Lp 노름을 사용하여 적대적 훼손에 노출된 DRL 에이전트의 성능 저하를 정량화하기.
• 적대적 공격에 대한 강건성 없이 DRL을 안전이 중요한 운송 시스템에 도입할 경우의 보안 위험을 강조하기.

제안 방법

• 차량의 에너지 시스템 저차원 상태 표현에 대해 빠른 기울기 부호 방법(FGSM)과 투영된 기울기 강하(PGD)를 사용하여 적대적 예제를 생성한다.
• 원래 상태에서의 최소한의 이탈을 보장하기 위해 L∞, L2 및 L1 노름을 사용하여 훼손을 제약한다.
• 최적의 에너지 관리를 위해 훈련된 DRL 에이전트를 적대적 입력 하에서 평가하여 성능 저하를 측정한다.
• 공격은 이미지 입력이 아닌 배터리 충전 상태, 엔진 상태, 차량 속도 등의 상태 기능에 적용된다.
• 적대적 입력과 정상 입력 간의 누적 에너지 소비 및 보상 저하를 비교하여 성능을 측정한다.
• DQN 기반 DRL 에이전트를 사용하여 시뮬레이션된 확장 범위 전기 배송 차량에서 실험을 수행한다.

실험 결과

연구 질문

• RQ1 저차원 상태 입력에 대해 적용된 적대적 공격이 전기 배송 차량의 DRL 기반 에너지 관리 시스템의 성능을 떨어뜨릴 수 있는가?
• RQ2 FGSM 및 PGD와 같은 표준 적대적 공격 방법이 강화 학습 에이전트의 비이미지 상태 표현에 얼마나 효과적인가?
• RQ3 Lp 노름으로 제약된 상태 기능의 작은 훼손이 에이전트의 에너지 효율성과 보상에 얼마나 큰 영향을 미치는가?
• RQ4 다양한 적대적 공격 전략과 훼손 크기에서 DRL 에이전트의 강건성은 어떻게 변화하는가?
• RQ5 이러한 공격이 안전이 중요한 운송 시스템에 DRL을 실현 가능한 환경에 도입할 경우에 어떤 함의를 지니는가?

주요 결과

• FGSM 및 PGD를 사용한 적대적 공격는 DRL 에이전트의 성능을 심각하게 떨어뜨리며, 강한 훼손 조건에서 보상 감소가 50%를 초과한다.
• 조금만 훼손된 L∞-제약 훼손(ε = 0.01)이라도 에너지 효율성과 누적 보상에 명백한 감소를 유발했다.
• 다양한 공격 반복과 Lp 노름 제약 조건에서도 성능 저하가 일관되게 나타나, 강력한 취약성이 있음을 시사한다.
• 이미지 입력이 없음에도 불구하고 공격가 효과적이었으며, 이는 제어 시스템 내 DRL 에이전트가 컴퓨터 시각 분야를 초월해 취약함을 보여준다.
• 결과적으로 실세계 운송 시스템에서 DRL 기반 시스템은 심각한 안전 및 운영 영향을 초래할 수 있는 미세하고 눈에 띄지 않는 사이버 공격에 취약할 수 있음을 강조한다.