[논문 리뷰] Verifying Learning-Based Robotic Navigation Systems

Guy Amir, Davide Corsi외 5명|arXiv (Cornell University)|2022. 05. 26.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 로봇 주행을 위한 최적의 딥 강화학습(DRL) 정책을 선택하기 위한 검증 기반 접근법을 제시한다. 이는 상용 DNN 검증 도구를 활용하여 충돌이나 무한 루프와 같은 위험한 행동, 그리고 과도하게 보수적인 경로와 같은 열악한 행동을 탐지함으로써, 실제 로봇 시스템에서 효과적인 모델 선택을 가능하게 한다. 이 방법은 기울기 기반 공격 기법을 능가하며, 실제 물리적 로봇에서 실용적인 안전성 향상을 입증한다.

ABSTRACT

Deep reinforcement learning (DRL) has become a dominant deep-learning paradigm for tasks where complex policies are learned within reactive systems. Unfortunately, these policies are known to be susceptible to bugs. Despite significant progress in DNN verification, there has been little work demonstrating the use of modern verification tools on real-world, DRL-controlled systems. In this case study, we attempt to begin bridging this gap, and focus on the important task of mapless robotic navigation -- a classic robotics problem, in which a robot, usually controlled by a DRL agent, needs to efficiently and safely navigate through an unknown arena towards a target. We demonstrate how modern verification engines can be used for effective model selection, i.e., selecting the best available policy for the robot in question from a pool of candidate policies. Specifically, we use verification to detect and rule out policies that may demonstrate suboptimal behavior, such as collisions and infinite loops. We also apply verification to identify models with overly conservative behavior, thus allowing users to choose superior policies, which might be better at finding shorter paths to a target. To validate our work, we conducted extensive experiments on an actual robot, and confirmed that the suboptimal policies detected by our method were indeed flawed. We also demonstrate the superiority of our verification-driven approach over state-of-the-art, gradient attacks. Our work is the first to establish the usefulness of DNN verification in identifying and filtering out suboptimal DRL policies in real-world robots, and we believe that the methods presented here are applicable to a wide range of systems that incorporate deep-learning-based agents.

연구 동기 및 목표

• 공식 DNN 검증과 실세계 DRL 기반 로봇 시스템 간 격차를 메우기 위해.
• 다단계 및 반응형 행동을 포함한 학습 기반 로봇 주행에서 공식적인 안전 보장을 확보하지 못하는 문제를 해결하기 위해.
• 열열한 또는 위험한 DRL 정책을 식별하고 걸러내어 효과적인 모델 선택을 가능하게 하기 위해.
• 다양한 학습 반복 동안의 훈련 안정성과 정책 향상에 대한 통찰을 제공하기 위해.
• 공식 검증의 실용적 적용 가능성을 실물 로봇 플랫폼에까지 확장하여 시뮬레이션을 넘어선 실현 가능성을 입증하기 위해.

제안 방법

• 상용 DNN 검증 엔진을 활용하여 DRL 정책의 안전성 및 생존성 성질을 분석하기 위해.
• 다양한 정책 호출에 걸쳐 충돌 회피, 경로 길이 최소화, 무한 루프 없음 등의 성질을 공식적으로 검증하기 위해.
• 충돌과 같은 위험한 행동과 과도하게 보수적인 경로와 같은 열악한 행동을 모두 탐지하기 위해 검증을 적용하기 위해.
• 검증 결과를 바탕으로 후보 DRL 정책 풀에서 모델 선택을 수행하기 위해.
• 검증 기반 필터링과 기울기 기반 공격을 비교하여 강건성과 탐지 능력을 평가하기 위해.
• 검증된 결과가 실제 물리적 로봇에서 실제로 잘못된 행동을 보임을 확인하기 위해 물리적 로봇에서 결과를 검증하기 위해.

실험 결과

연구 질문

• RQ1 공식 DNN 검증 기법은 실세계 DRL 기반 로봇 주행 시스템에서 위험한 행동과 열악한 행동을 탐지할 수 있는가?
• RQ2 검증 기반 모델 선택은 기울기 기반 공격 방법에 비해 결함이 있는 정책을 식별하는 데 얼마나 효과적인가?
• RQ3 공식 검증은 학습 반복 간 DRL 훈련 과정의 안정성과 향상에 대해 어느 정도 통찰을 제공할 수 있는가?
• RQ4 검증 도구는 다단계 주행 작업에서 무한 루프나 충돌을 일으키는 정책을 효과적으로 식별할 수 있는가?
• RQ5 실세계 DRL 에이전트의 구현 파이프라인에 공식 검증을 통합하는 데 있어 확장성과 실용성은 어느 정도인가?

주요 결과

• 검증 프레임워크에서 열악한 것으로 표시된 정책들은 실제 물리적 로봇에서의 테스트에서 충돌과 무한 루프를 보였음을 확인하였다.
• 검증 기반 접근법은 과도하게 보수적인 행동을 보이는 정책을 성공적으로 식별하고 걸러내어 더 짧고 효율적인 주행 경로 선택을 가능하게 하였다.
• 특히 비명백한 생존성 및 안전성 위반을 탐지하는 데서, 이 방법은 최신 기울기 기반 공격 기법을 능가하여 결함이 있는 정책을 탐지하는 데에 효과적이었다.
• 검증을 통해 학습 반복 간 정책 행동의 의미 있는 차이를 발견하여, 훈련의 안정성과 수렴성에 대한 통찰을 제공하였다.
• 물리적 로봇 실험과 공개 비디오 시연를 통해 결과를 확인한 바, 이 방법은 실세계 구현에서 실용적이고 신뢰할 수 있는 가능성을 입증하였다.