[논문 리뷰] Approximate Robust Control of Uncertain Dynamical Systems

Edouard Leurent, Y. Blanco외 2명|arXiv (Cornell University)|2019. 03. 01.

Advanced Control Systems Optimization참고 문헌 22인용 수 17

한 줄 요약

이 논문은 유incertain한 비선형 동적 시스템에서의 근사적 강건 제어를 위한 두 가지 접근 가능한 방법을 제안한다: 유한한 모호성 집합에 대한 샘플링 기반 계획법과 연속 집합에 대한 간격 예측기 기반의 보수적 허용 오차 방법. 이 방법들은 최악의 상황에서의 성능을 최대화함으로써 자율 주행에서 안전하고 높은 성능의 제어를 가능하게 하며, 실험 결과 모델 불확실성에도 불구하고 near-oracle 성능을 달성하는 강건한 정책을 확보하였다.

ABSTRACT

This work studies the design of safe control policies for large-scale non-linear systems operating in uncertain environments. In such a case, the robust control framework is a principled approach to safety that aims to maximize the worst-case performance of a system. However, the resulting optimization problem is generally intractable for non-linear systems with continuous states. To overcome this issue, we introduce two tractable methods that are based either on sampling or on a conservative approximation of the robust objective. The proposed approaches are applied to the problem of autonomous driving.

연구 동기 및 목표

• 기존의 강건 제어가 비가역적인 큰 스케일의 비선형 시스템에서의 안전한 제어 문제를 해결한다.
• 연속적이고 비선형적인 시스템에서 정확한 강건 제어가 비가역적인 문제임을 고려하여 근사적이고 계산 효율적인 방법을 도입한다.
• 모델 불확실성 하에서도 성능 경계를 보장하는 강건한 정책 학습을 가능하게 하여, 자율 주행과 같은 안전이 핵심적인 애플리케이션에 기여한다.
• 이러한 방법들은 이산 및 연속적 모호성 집합 모두에 적용 가능하며, 하이브리드 불확실성 구조를 지원한다.
• 실제 교통 상호작용을 반영한 시뮬레이션된 고속도로 주행 환경을 통해 실용적 효과성을 입증한다.

제안 방법

• 유한한 모호성 집합에 대해서는, 전체 행동 시퀀스를 탐색하는 옵timistic 샘플링 기반 계획법(알고리즘 1)을 사용하며, 단순한 회귀의 상한선을 제공한다.
• 연속적인 모호성 집합에 대해서는, 간격 예측기를 활용하여 강건 정책 평가 문제의 보수적 허용 오차를 구성한다.
• 일관성과 안전성을 확보하기 위해, 상태 간격 예측을 계획된 정책 조건 하에 설정한다.
• 모델 매개변수 $ \theta \in \Theta \subset \mathbb{R}^p $를 가진 결정론적 모델 $ s' = T_\theta(s,a) $를 사용하며, $ \Theta $ 는 불확실성을 나타내는 컴act 집합이다.
• 강건 제어 목표를 $ \max_\pi \min_T v^T_\pi $ 로 설정하여, 모호성 집합 전역에서 최악의 상황에서도 기대 수익을 최대화한다.
• 이러한 방법들을 자동차 주행 제어와 다중 에이전트 교통 역학을 운동학적 및 행동 모델로 모델링한 시뮬레이션된 고속도로 주행 환경에 통합한다.

실험 결과

연구 질문

• RQ1 연속적인 상태와 불확실한 동역학을 가진 비선형 시스템에 대해 계산 효율적이며 근사적인 강건 제어 방법을 설계할 수 있는가?
• RQ2 정확한 강건 제어가 비가역적인 상황에서, 모델 불확실성 하에서도 성능 보장을 유지할 수 있는가?
• RQ3 연속적인 모호성 집합에서 간격 예측기를 사용한 강건 제어 시, 보수성과 성능 간의 상호 교환 관계는 어떠한가?
• RQ4 유한한 모호성 설정에서 샘플링 기반 계획법이 수렴 보장을 갖는 채로 강건 정책을 효과적으로 근사할 수 있는가?
• RQ5 사람이 운전하는 차량의 불확실한 행동이 존재하는 실제 환경에서, 강건 정책은 명시적 정책 및 오라클 정책과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 샘플링 기반 계획법(알고리즘 1)은 최악의 수익 8.99와 평균 수익 10.78±0.34를 기록하여 오라클의 최악 수익 9.83과 평균 수익 10.84±0.16에 근접하였다.
• 간격 예측기 기반 방법(알고리즘 2)은 최악의 수익 7.88과 평균 수익 10.73±0.61을 기록하여, 둘 다 명시적 정책보다 높은 성능을 보였다.
• 이산적 모호성 설정에서는 강건 정책이 명시적 정책(최악 수익 2.09)을 크게 능가하였으며, 오라클 성능에 근접하였다.
• 연속적 모호성 설정에서는 강건 정책(최악 수익 7.88)이 명시적 정책(최악 수익 1.99)을 크게 앞서며, 모델 편향에 대한 저항력을 입증하였다.
• 두 방법 모두 성능 경계를 제공하였다: 샘플링 방법은 渐진적 일致성을 보장하고, 간격 방법은 진짜 정책 성능의 하한선을 제공한다.
• 결과적으로, 보수적 근사 방법을 통한 강건 제어가 불완전한 모델 지식이 존재하는 상황에서도 안전하고 높은 성능의 의사결정을 가능하게 하며, 불확실한 교통 환경에서 유의미한 성능을 달성함을 확인하였다.