[논문 리뷰] Explainable and Safe Reinforcement Learning for Autonomous Air Mobility

Lei Wang, Yang Hongyu외 3명|arXiv (Cornell University)|2022. 11. 24.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 안전성과 효율성 목표를 별도의 Q-값 네트워크로 분리하여 안전성과 효율성을 동시에 고려하는 완전히 설명 가능한 딥 강화학습 프레임워크인 SafeDQN-X를 제안한다. 안전성에 민감한 DQN과 목표 지향적 DQN을 별도로 학습하고 그 출력을 조합함으로써 갈등 해소 성능을 향상시키며, 해석 가능한 안전성 가치 함수를 통해 투명성을 높이고, 전체적인 간섭 없이 단지 네 번의 공격으로도 균일한 공격보다 뛰어난 성능을 보이는 표적 공격에 대한 취약성을 드러낸다.

ABSTRACT

Increasing traffic demands, higher levels of automation, and communication enhancements provide novel design opportunities for future air traffic controllers (ATCs). This article presents a novel deep reinforcement learning (DRL) controller to aid conflict resolution for autonomous free flight. Although DRL has achieved important advancements in this field, the existing works pay little attention to the explainability and safety issues related to DRL controllers, particularly the safety under adversarial attacks. To address those two issues, we design a fully explainable DRL framework wherein we: 1) decompose the coupled Q value learning model into a safety-awareness and efficiency (reach the target) one; and 2) use information from surrounding intruders as inputs, eliminating the needs of central controllers. In our simulated experiments, we show that by decoupling the safety-awareness and efficiency, we can exceed performance on free flight control tasks while dramatically improving explainability on practical. In addition, the safety Q learning module provides rich information about the safety situation of environments. To study the safety under adversarial attacks, we additionally propose an adversarial attack strategy that can impose both safety-oriented and efficiency-oriented attacks. The adversarial aims to minimize safety/efficiency by only attacking the agent at a few time steps. In the experiments, our attack strategy increases as many collisions as the uniform attack (i.e., attacking at every time step) by only attacking the agent four times less often, which provide insights into the capabilities and restrictions of the DRL in future ATC designs. The source code is publicly available at https://github.com/WLeiiiii/Gym-ATC-Attack-Project.

연구 동기 및 목표

• 기존의 자율 항공교통통제(ATC)를 위한 딥 강화학습(DRL) 컨트롤러에서의 설명 가능성 부족과 안전성의 취약성을 해결하기 위해.
• 안전성과 효율성 목표를 별도의 가치 함수로 분해함으로써 투명한 의사결정을 가능하게 하는 DRL 프레임워크를 개발하기 위해.
• 특히 몇몇 중요한 시점에만 영향을 주는 공격을 받을 때 DRL 에이전트의 안전성을 평가하기 위해.
• 중앙 집중식 조율 없이도 지역적이고 이웃 기반의 정보만으로 효과적인 갈등 해소가 가능한지 검증하기 위해.
• 표적 공격 전략을 통해 설명 가능한 DRL 설계의 구조적 취약성을 드러내기 위해.

제안 방법

• 기존의 DQN을 두 개의 독립된 네트워크로 분해: 환경의 안전성을 평가하는 안전 DQN과 목표 도달 효율성을 극대화하는 목표 DQN.
• dueling DQN 아키텍처를 사용하여 상태 가치와 이점 함수를 별도로 추정함으로써 해석 가능한 안전성 및 목표 가치 추정을 가능하게 한다.
• 다른 항공기와의 접근을 방지하고 안전한 간격을 보상함으로써 안전성 중심의 보상 함수를 사용해 안전 DQN을 학습시킨다.
• 안전성이 높은 상태에서 우선시하는 가중치 기반 융합 전략을 사용해 두 네트워크의 행동을 조합한다.
• 비판적 결정 포인트에만 편향을 주입하여 안전성 또는 효율성에 가장 큰 영향을 미치는 표적 공격 전략을 설계한다.
• Q-값 히트맵을 사용해 안전성 및 행동 확률 지ap을 시각화하여 모델의 해석 가능성과 의사결정의 투명성을 입증한다.

실험 결과

연구 질문

• RQ1 DRL에서 안전성과 효율성을 분리함으로써 자율 갈등 해소에서 성능과 설명 가능성 모두 향상될 수 있는가?
• RQ2 딥 강화학습을 사용할 때 실시간 항공교통통제에서 안전성을 정량적으로 측정하고 시각화할 수 있는가?
• RQ3 특정 시점에만 영향을 주는 공격을 받을 때 DRL 기반 ATC 컨트롤러는 어느 정도 취약한가?
• RQ4 자유 비행 환경에서 효과적인 갈등 해소를 위해 전역 감시 데이터 대신 지역적 이웃 기반 정보로 충분한가?
• RQ5 투명하고 모odu lar한 DRL 설계는 지능적인 적대적 공격자가 악용할 수 있는 구조적 약점을 드러내는가?

주요 결과

• SafeDQN-X는 안전성과 효율성을 분리함으로써 표준 DQN보다 갈등 해소 작업에서 뛰어난 성능을 보이며, 더 높은 안전성과 향상된 수렴 속도를 달성한다.
• 안전 DQN이 학습한 안전성 가치 함수는 환경 안전성을 신뢰할 수 있고 해석 가능한 지표로 기능하며, 안전 상태에서는 0.1352, 위험 상태에서는 -0.0013의 값을 가진다.
• 제안된 적대적 공격 전략은 모든 시간 단계를 공격하는 균일한 공격과 동일한 수의 충돌을 유도하지만, 공격 횟수는 4배 적게 발생한다.
• 안전 상태에서는 모든 행동의 안전 확률이 유사하며 목표 DQN이 의사결정을 주도한다; 위험 상태에서는 안전 DQN이 목표 DQN을 우선시하여 회피를 최우선으로 한다.
• 안전성과 목표 선호도가 충돌할 경우, 안정된 항로 유지와 함께 가속을 선택하는 균형 잡힌 행동이 이루어지며, 이는 이중 목표의 효과적 융합을 보여준다.
• 연구 결과, DRL 모델의 구조적 투명성은 간접적으로 설계의 취약성을 드러내어 매우 표적화된 적대적 공격에 취약하게 만들 수 있음을 확인했다.