[논문 리뷰] Meta-Learning Priors for Safe Bayesian Optimization

Jonas Rothfuss, Christopher J. Koenig외 2명|arXiv (Cornell University)|2022. 10. 03.

Fault Detection and Control Systems인용 수 7

한 줄 요약

이 논문은 경험적 불확실성 지표와 프론티어 서치를 사용하여 안전한 베이지안 최적화를 위한 신뢰할 수 있고 안전 기준을 충족하는 가우시안 프로세스 사전분포를 메타학습하는 데이터 기반 프레임워크인 안전 메타베이지안 최적화(SaMBO)를 제안한다. 오프라인 데이터를 활용하고 F-PACOH를 통해 불확실성 정량화를 향상시킴으로써 SaMBO는 벤치마크 함수와 고정밀 운동 시스템에서 안전 제약을 엄격히 유지하면서도 안전한 BO의 수렴 속도를 향상시킨다.

ABSTRACT

In robotics, optimizing controller parameters under safety constraints is an important challenge. Safe Bayesian optimization (BO) quantifies uncertainty in the objective and constraints to safely guide exploration in such settings. Hand-designing a suitable probabilistic model can be challenging, however. In the presence of unknown safety constraints, it is crucial to choose reliable model hyper-parameters to avoid safety violations. Here, we propose a data-driven approach to this problem by meta-learning priors for safe BO from offline data. We build on a meta-learning algorithm, F-PACOH, capable of providing reliable uncertainty quantification in settings of data scarcity. As core contribution, we develop a novel framework for choosing safety-compliant priors in a data-riven manner via empirical uncertainty metrics and a frontier search algorithm. On benchmark functions and a high-precision motion system, we demonstrate that our meta-learned priors accelerate the convergence of safe BO approaches while maintaining safety.

연구 동기 및 목표

• 사전 지식이 제한된 상황에서 안전 기준을 충족하는 신뢰할 수 있는 GP 초모수를 선택하는 데 도전하는 것.
• 오프라인 데이터로부터 정보적인 사전분포를 학습하여 수동 조정이나 보수적인 초모수에 의존하는 것을 줄임으로써 안전한 BO의 표본 효율성을 향상시키는 것.
• 데이터 기반 불확실성 지표를 사용하여 사전분포 선택을 안내함으로써 최적화 도중 안전성을 확보하는 것.
• 기존의 안전한 BO 알고리즘의 핵심 메커니즘을 수정하지 않고도 메타학습된 사전분포를 통합할 수 있는 프레임워크를 개발하는 것.
• 메타학습된 사전분포가 합성 및 실제 로봇 제어 작업 전반에서 수렴 속도와 안전성 준수 측면에서 표준 사전분포를 능가함을 입증하는 것.

제안 방법

• 이 방법은 데이터 부족과 분포 이탈 상황에서도 F-PACOH를 사용하여 오프라인 데이터로부터 신뢰할 수 있는 GP 사전분포를 메타학습한다.
• 신뢰구간의 경험적 校정성과 날카움 지표를 최소화함으로써 커널 초모수를 최적화하는 프론티어 서치 알고리즘을 도입한다.
• 초모수에 대한 단조성 최적화 문제를 정의하여 구조적 특성을 활용해 효율적인 탐색을 수행한다.
• 실제 불확실성 지표인 평균 校정성과 평균 표준편차를 사용하여 안전한 사전분포의 평가 및 선택을 유도한다.
• GoOSE 및 SafeOpt와 같은 기존의 안전한 BO 알고리즘과 호환되어 표본 효율성을 즉각적으로 향상시킬 수 있다.
• 프론티어 서치는 불확실성 지표에 기반해 상한과 하한을 반복적으로 개선함으로써 초모수의 타당 영역을 효율적으로 좁힌다.

실험 결과

연구 질문

• RQ1 데이터 기반 메타학습된 GP 사전분포는 안전한 베이지안 최적화의 표본 효율성을 향상시킬 수 있는가?
• RQ2 안전이 중요한 응용 분야에서 낮은 데이터 환경에서 불확실성 정량화를 신뢰성 있게 최적화할 수 있는가?
• RQ3 커널 초모수의 데이터 기반 선택은 컨트롤러 튜닝에서 더 안전하고 더 빠른 수렴을 이끌어낼 수 있는가?
• RQ4 메타학습 태스크의 수와 태스크당 데이터 포인트 수의 비율이 SaMBO의 성능에 미치는 영향은 어느 정도인가?
• RQ5 프론티어 서치는 안전성과 수렴 보장을 유지하면서도 초모수를 효율적으로 최적화할 수 있는가?

주요 결과

• SaMBO는 벤치마크 함수에서 표준 GP 사전분포에 비해 안전한 베이지안 최적화의 쿼리 효율성을 크게 향상시켰으며, 추론 위험도 0.1 이하로 감소하였다.
• 모든 실험에서 엄격한 안전 제약 조건을 유지하였으며, 최적화 도중 어떤 안전 위반도 발생하지 않았다.
• 메타학습 태스크의 수를 두 배로 늘리면, 태스크당 데이터 포인트 수를 두 배로 늘리는 것보다 더 큰 성능 향상을 얻었으며, 이는 태스크 수가 더 영향력이 크다는 것을 시사한다.
• 프론티어 서치는 합성 문제에서 10회 이내의 반복 안에 가능한 초모수 영역을 90% 이상 감소시켜 매우 빠른 수렴을 보였다.
• F-PACOH 기반의 메타학습은 약 3~4분이 소요되었으며, 중간 크기의 메타데이터셋에 대해 프론티어 서치는 1분 이내에 완료되었다.
• 고정밀 운동 시스템에서 SaMBO는 안전성을 훼손하지 않으면서도 컨트롤러 튜닝의 수렴 속도를 빠르게 하여 실제 적용 가능성을 입증하였다.