[논문 리뷰] Bayesian Optimization with Safety Constraints: Safe and Automatic Parameter Tuning in Robotics

Felix Berkenkamp, Andreas Krause외 1명|arXiv (Cornell University)|2016. 02. 14.

Gaussian Processes and Bayesian Inference인용 수 26

한 줄 요약

이 논문은 다수의 별도의 안전 제약 조건 하에서 로봇 제어 파라미터의 안전하고 자동적인 튜닝을 가능하게 하는 베이지안 최적화 프레임워크인 SafeOpt-MC를 제안한다. 가우시안 프로세스 사전분포와 확률적 안전 보장을 활용함으로써, 최적화 과정에서 안전하지 않은 파라미터 평가가 발생하지 않도록 보장하며, 고확률적으로 안전한 파라미터 영역 내에서 최적 성능에 수렴한다. 이는 퀸트로터에서 검증되었다.

ABSTRACT

Robotic algorithms typically depend on various parameters, the choice of which significantly affects the robot's performance. While an initial guess for the parameters may be obtained from dynamic models of the robot, parameters are usually tuned manually on the real system to achieve the best performance. Optimization algorithms, such as Bayesian optimization, have been used to automate this process. However, these methods may evaluate unsafe parameters during the optimization process that lead to safety-critical system failures. Recently, a safe Bayesian optimization algorithm, called SafeOpt, has been developed, which guarantees that the performance of the system never falls below a critical value; that is, safety is defined based on the performance function. However, coupling performance and safety is often not desirable in robotics. For example, high-gain controllers might achieve low average tracking error (performance), but can overshoot and violate input constraints. In this paper, we present a generalized algorithm that allows for multiple safety constraints separate from the objective. Given an initial set of safe parameters, the algorithm maximizes performance but only evaluates parameters that satisfy safety for all constraints with high probability. To this end, it carefully explores the parameter space by exploiting regularity assumptions in terms of a Gaussian process prior. Moreover, we show how context variables can be used to safely transfer knowledge to new situations and tasks. We provide a theoretical analysis and demonstrate that the proposed algorithm enables fast, automatic, and safe optimization of tuning parameters in experiments on a quadrotor vehicle.

연구 동기 및 목표

• 로봇 시스템 튜닝 중 안전하지 않은 파라미터 평가의 위험을 해결하여 시스템 장애를 방지하기 위해.
• 베이지안 최적화에서 안전 제약 조건을 성능 목표에서 분리하여, 안전성과 성능 기준을 별도로 지정할 수 있도록 하기 위해.
• 정확한 시스템 모델이나 기울기 정보가 없이도 최적화 도중 안전성을 보장하는 방법을 개발하기 위해.
• 입력, 상태 및 성능 제약 조건을 고려하면서도 실세계 로봇 시스템에서 데이터 효율적이고 자동적인 파라미터 튜닝을 가능하게 하기 위해.
• 최적화 과정에서 맥락 변수를 활용하여 다양한 작업 간 지식을 안전하게 이관하기 위해.

제안 방법

• 알고리즘은 성능 목표 함수와 다수의 안전 제약 함수를 모델링하기 위해 가우시안 프로세스 사전분포를 사용한다.
• 각 반복 단계에서 노이즈가 있는 실제 세계 평가를 통해 함수에 대한 믿음을 갱신하며, 안전한 파라미터 집합을 유지한다.
• 각 단계에서 알고리즘은 정보성(높은 기대 향상)이 높고, 동시에 모든 안전 제약 조건을 고확률로 만족하는 파라미터를 선택한다.
• 안전성은 리프시츠 연속성 가정과 확률적 신뢰구간을 통해 보장되며, 평가된 모든 파라미터가 안전 집합 내에 유지되도록 보장한다.
• 지식 이행을 가능하게 하기 위해 맥락 변수를 통합한다.
• 안전 집합 내에서 더 이상 향상이 불가능할 경우 알고리즘이 종료되며, 이는 이론적 수렴 경계에 의해 보장된다.

실험 결과

연구 질문

• RQ1 베이지안 최적화를 다수의 독립적인 안전 제약 조건을 처리할 수 있도록 확장하면서도, 튜닝 중에 안전하지 않은 평가가 발생하지 않도록 보장할 수 있는가?
• RQ2 기울기 정보나 시스템 모델에 의존하지 않고도, 기울기 없는 최적화 방법이 로봇 공학 분야에서 안전하고 효율적인 파라미터 튜닝을 달성할 수 있는가?
• RQ3 최적화 과정에서 안전성과 성능를 분리함으로써, 낮은 오차와 제약 위반 간의 트레이드오프를 피할 수 있는가?
• RQ4 노이즈가 있는 실제 세계 평가가 존재하는 상황에서 안전성과 수렴성에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 맥락 인식 최적화를 통해 다양한 로봇 작업이나 구성 간 지식을 안전하게 이관할 수 있는가?

주요 결과

• SafeOpt-MC는 노이즈가 있는 관측 조건 하에서도 평가된 모든 파라미터가 고확률로 모든 안전 제약 조건을 만족함을 보장한다.
• 알고리즘이 안전한 최적 성능에 ε 이내의 성능을 달성하는 파라미터 집합으로 수렴함을 보장하며, 이는 고확률로 이루어진다.
• 이론적 분석을 통해 알고리즘이 결국 전체 안전 집합을 탐색하게 되며, 수렴에 도달한 후에는 안전 영역 내에서 더 이상 향상이 불가능함을 증명한다.
• 기울기 정보나 사전 시스템 모델이 필요 없이도 안전한 최적화를 달성함으로써, 실제 로봇에서 데이터 효율적인 튜닝이 가능해진다.
• 퀸트로터에서의 실증 평가를 통해 컨트롤러 파라미터의 빠르고 자동적이고 안전한 튜닝이 가능하며, 최적화 과정에서 실패를 피할 수 있었다.
• 맥락 변수의 통합으로 다양한 작업 간 효과적인 지식 이행이 가능해졌으며, 새로운 시나리오에서 최적화 효율성이 향상되었다.