[논문 리뷰] Robust Guarantees for Perception-Based Control

Sarah Dean, Nikolai Matni외 2명|arXiv (Cornell University)|2019. 07. 08.

Robotics and Sensor-Based Localization참고 문헌 68인용 수 26

한 줄 요약

이 논문은 비선형 센서 관측이 있는 선형 시스템에서 강인 perception 기반 제어를 위한 데이터 기반 프레임워크를 제안한다. 조밀한 상태공간 샘플링를 통해 perception 맵과 그 오차 한계를 학습함으로써 안전 영역을 구성하고, 적대적 노이즈 하에서 일반화되는 강인 제어기를 설계하여, 자율 시스템의 시각 기반 제어에서 증명 가능한 안전성 및 성능 보장을 달성한다.

ABSTRACT

Motivated by vision-based control of autonomous vehicles, we consider the problem of controlling a known linear dynamical system for which partial state information, such as vehicle position, is extracted from complex and nonlinear data, such as a camera image. Our approach is to use a learned perception map that predicts some linear function of the state and to design a corresponding safe set and robust controller for the closed loop system with this sensing scheme. We show that under suitable smoothness assumptions on both the perception map and the generative model relating state to complex and nonlinear data, parameters of the safe set can be learned via appropriately dense sampling of the state space. We then prove that the resulting perception-control loop has favorable generalization properties. We illustrate the usefulness of our approach on a synthetic example and on the self-driving car simulation platform CARLA.

연구 동기 및 목표

• 고차원적이고 비선형적인 센서 데이터(예: 카메라 이미지)를 자율 시스템의 강인 제어 루프에 통합하는 도전 과제를 해결하기 위해.
• 강력한 안전 보장을 제공하는 전통적 강인 제어와 공식적인 보장을 결여한 현대적 학습 기반 perception 간의 격차를 메우기 위해.
• perception 불확실성을 처리 가능한 방식으로 정량화하고 고려함으로써, 복잡한 관측에서 유도된 상태 추정치가 있을 경우에도 안전한 제어를 가능하게 하는 프레임워크를 개발하기 위해.
• 적대적 노이즈 하에서 perception-제어 루프의 일반화를 가능하게 하기 위해, 이는 자율 시스템의 실세계 구현에 필수적인 조건이다.

제안 방법

• 시스템 상태의 선형 함수로 복잡한 관측(예: 이미지)을 매핑하는 perception 맵을 상태공간의 조밀한 샘플링을 통해 학습하기 위해.
• perception 맵과 상태에서 관측으로 이어지는 생성 모델에 대해 부드러움 가정을 설정하여 국소적으로 추정 오차를 제한하기 위해.
• 국소 오차 한계에 기반한 데이터 의존적 안전 영역을 구성하여, 시스템이 훈련 데이터 주변의 이웃 영역에 머무르도록 보장하기 위해.
• 안전 영역과 오차 한계를 사용하여 강인 제어기를 합성함으로써, 적대적 외란 하에서도 훈련 분포에서의 편차가 유한하게 유지되도록 보장하기 위해.
• ℓ∞-기반 불확실성 모델을 사용하여 강인 제어 문제를 수식화함으로써 최악의 경우 성능 보장을 가능하게 하기 위해.
• 합성 데이터와 CARLA 자율 주행 자동차 시뮬레이터에서 프레임워크를 검증하고, 강인 제어기와 일반 제어기를 비교하기 위해.

실험 결과

연구 질문

• RQ1 데이터 기반 방법을 사용하여 시각 기반 제어에서의 perception 불확실성을 어떤 조건에서 정량화하고 한정할 수 있는가?
• RQ2 상태 추정치가 비선형적이고 고차원적인 관측에서 유도될 경우, 시스템 안전성을 보장하기 위해 강인 제어기를 어떻게 합성할 수 있는가?
• RQ3 perception 맵이 제한된 훈련 데이터로부터 학습된 경우에도, perception-제어 루프가 적대적 노이즈 하에서 일반화될 수 있는가를 보장할 수 있는가?
• RQ4 perception 맵과 생성 모델의 부드러움이 일반화 및 안전 보장 가능성을 어떻게 높이는가?
• RQ5 분포 이탈 하에서 안정성과 성능 측면에서 제안된 강인 제어기와 일반 제어기(LQG, ℓ1-최적화) 간의 비교는 어떠한가?

주요 결과

• 제안된 방법은 적대적 노이즈 하에서도 훈련 데이터 분포에서의 시스템 편차가 유한하게 유지되며, 일반 제어기(LQG, ℓ1-최적화)는 실패하고 발산함을 확인함.
• perception 오차 프로파일은 국소 기울기 제한 성질을 보이며, 부드러움과 훈련 점에서의 거리 증가에 따른 오차 감소라는 이론적 가정을 검증함.
• CARLA에서 200회의 롤아웃 동안 강인하게 합성된 제어기는 유한한 ℓ∞ 추적 오차를 유지하며, 오차 막대는 안전 영역 내에서 일관된 성능을 보임.
• 이 프레임워크는 적대적 노이즈 하에서 시각 기반 제어 시스템에 대해 처음으로 증명 가능한 일반화 보장을 제공함으로써, 학습 기반 로봇공학 분야의 안전성 격차를 메움.
• 시각적 오도메트리가 특징 불일치로 인해 실패하더라도 강인 제어기는 안전한 동작을 유지함을 통해, perception 실패에 대한 내성 강도를 입증함.
• 조밀한 샘플링을 통한 안전 영역 구성은 전체 시스템 식별이나 완벽한 상태 관측 가능성 없이도 처리 가능한 데이터 기반 안전 보장을 가능하게 함.