[논문 리뷰] Robust Regression for Safe Exploration in Control

Anqi Liu, Guanya Shi외 3명|arXiv (Cornell University)|2019. 06. 13.

Gaussian Processes and Bayesian Inference참고 문헌 43인용 수 9

한 줄 요약

이 논문은 모델 기반 제어에서의 안전한 탐색을 위한 딥 루비스트 리그레션 프레임워크를 제안하며, 공변수 이동 하에서의 불확실성 정량화를 명시적으로 고려하여 증명 가능하게 안전하고 정보적인 데이터 수집을 가능하게 한다. 특히 빠른 드론 착륙 및 역퍼레드럼 제어와 같은 도전적인 비선형 제어 과제에서 과거 방법보다 더 적은 튜닝으로도 슈퍼리어한 성능을 발휘한다.

ABSTRACT

We study the problem of safe learning and exploration in sequential control problems. The goal is to safely collect data samples from operating in an environment, in order to learn to achieve a challenging control goal (e.g., an agile maneuver close to a boundary). A central challenge in this setting is how to quantify uncertainty in order to choose provably-safe actions that allow us to collect informative data and reduce uncertainty, thereby achieving both improved controller safety and optimality. To address this challenge, we present a deep robust regression model that is trained to directly predict the uncertainty bounds for safe exploration. We derive generalization bounds for learning, and connect them with safety and stability bounds in control. We demonstrate empirically that our robust regression approach can outperform the conventional Gaussian process (GP) based safe exploration in settings where it is difficult to specify a good GP prior.

연구 동기 및 목표

• 데이터 수집이 안전해야 하면서도 모델 정확도를 향상시켜야 하는 비선형 제어 시스템에서의 안전한 탐색 문제를 해결한다.
• 시작 조건이 불완전하거나 잘못 지정된 경우에 고차원 비선형 환경에서 과거 방법의 한계를 극복한다.
• 순차적 데이터 수집에서 흔한 공변수 이동 하에서의 역학 모델 불확실성을 루비스트 리그레션을 사용해 정량화한다.
• 불확실성 정량화를 제어 이론과 융합하여 궤적 추적에 대한 안정성 및 안전성 경계를 도출한다.
• 과도한 초모수 조정 없이도 탐색과 안전성을 균형 잡고 효율적이고 적응적인 데이터 수집을 가능하게 한다.

제안 방법

• 모델링되지 않은 역학을 나타내는 잔차 항 d(q, ˙q)를 포함한 혼합 역학 모델을 사용해 제어 문제를 수립한다.
• 딥 네URAL 네트워크를 사용해 잔차 역학에 대해 루비스트 리그레션을 수행하며, 공변수 이동 하에서의 불확실성 경계를 명시적으로 학습한다.
• 스펙트럴 정규화와 루비스트 추정 기법을 사용해 분포 이동 하에서도 일반화 능력과 안정성을 향상시킨다.
• 루비스트 리그레션 모델에 대한 일반화 및 편향 경계를 유도하며, 이를 제어 안정성 및 추적 오차와 연결한다.
• 안정성 및 안전성을 보장하는 제어 법칙에 불확실성 추정치를 통합하며, 수렴을 보장하기 위해 복합 변수 s = ˙q − ˙qr 를 사용한다.
• 불확실성과 안전 제약 조건을 기반으로 유한한 풀에서 궤적을 선택하는 안전한 탐색 알고리즘을 설계하여 데이터 수집 중 위험을 최소화한다.

실험 결과

연구 질문

• RQ1 순차적 탐색 중 데이터 분포가 이동할 경우, 역학 모델의 불확실성을 어떻게 신뢰성 있게 정량화할 수 있는가?
• RQ2 시작 조건이 불완전하거나 잘못 지정된 경우, 딥 루비스트 리그레션은 과거 방법보다 안전한 탐색 과제에서 더 나은 성능을 보일 수 있는가?
• RQ3 루비스트 리그레션에서 도출된 불확실성 경계를 어떻게 제어 안정성 및 추적 오차 보장과 공식적으로 연결할 수 있는가?
• RQ4 공변수 이동은 제어를 위한 딥 역학 모델의 일반화 및 강건성에 어떤 영향을 미치는가?
• RQ5 루비스트 리그레션 기반 접근법은 비선형 시스템에서 안전성을 유지하면서도 더 적극적이고 정보적인 데이터 수집을 가능하게 할 수 있는가?

주요 결과

• 제안된 루비스트 리그레션 방법은 역퍼레드럼 추적 및 빠른 드론 착륙 과제에서 모두 과거 방법보다 뛰어난 성능을 발휘한다.
• 과거 방법에 비해 튜닝 노력이 크게 감소하였으며, 특히 커널 및 사전 분포 선택에 민감한 과거 방법과 대비된다.
• 루비스트 리그레션 모델에서 도출된 일반화 및 편향 경계는 직접적으로 제어 안정성 및 추적 오차 경계로 이어진다.
• 이 방법은 에피소드 학습에서 공변수 이동을 효과적으로 처리하여 전체 궤적에 걸쳐 신뢰할 수 있는 불확실성 정량화를 가능하게 한다.
• 실험 결과에 따르면, 제한된 데이터 조건에서도 이론적으로 시스템 경계 근처(예: 빠른 드론 착륙)에서 안전하게 탐색이 가능하며, 추락 없이 작동함을 입증하였다.
• 스펙트럴 정규화를 적용한 루비스트 리그레션은 고차원 비선형 환경에서 표준 과거 모델보다 더 나은 불확실성 캘리브레이션 성능을 보였다.