[논문 리뷰] Cautious Bayesian Optimization for Efficient and Scalable Policy Search

Lukas P. Fröhlich, Melanie N. Zeilinger외 1명|arXiv (Cornell University)|2020. 11. 18.

Advanced Bandit Algorithms Research참고 문헌 42인용 수 5

한 줄 요약

이 논문은 고차원 로봇 작업에서 샘플 효율성과 시스템 안정성을 향상시키기 위해 베이지안 서rogate 모델의 예측 불확실성의 하위레벨셋(sublevel-set) 내로 정책 탐색을 제약하는 Cautious Bayesian Optimization(CBO)을 제안한다. 낮은 불확실성 영역에 집중함으로써 CBO는 100차원이 넘는 공간에서도 확장 가능하고 안정적인 정책 학습을 가능하게 하며, 실제 환경 및 시뮬레이션에서의 실현 가능성을 고려한 표준 BO보다 뛰어난 성능을 보인다.

ABSTRACT

Sample efficiency is one of the key factors when applying policy search to real-world problems. In recent years, Bayesian Optimization (BO) has become prominent in the field of robotics due to its sample efficiency and little prior knowledge needed. However, one drawback of BO is its poor performance on high-dimensional search spaces as it focuses on global search. In the policy search setting, local optimization is typically sufficient as initial policies are often available, e.g., via meta-learning, kinesthetic demonstrations or sim-to-real approaches. In this paper, we propose to constrain the policy search space to a sublevel-set of the Bayesian surrogate model's predictive uncertainty. This simple yet effective way of constraining the policy update enables BO to scale to high-dimensional spaces (>100) as well as reduces the risk of damaging the system. We demonstrate the effectiveness of our approach on a wide range of problems, including a motor skills task, adapting deep RL agents to new reward signals and a sim-to-real task for an inverted pendulum system.

연구 동기 및 목표

• 표준 베이지안 최적화(BO)가 고차원 정책 탐색 공간에서 확장성 부족 문제를 해결하기 위해.
• 예측 불확실성의 낮은 영역으로 탐색을 제약하여 정책 최적화 중 시스템 손상 위험을 줄이기 위해.
• 제한된 데이터를 가진 실제 로봇 응용 분야에서 효율적이고 안정적인 정책 학습을 가능하게 하기 위해.
• 시뮬레이션에서 실제 환경으로의 확장 및 딥 강화학습 에이전트의 피지컬 조정을 포함한 확장 가능한 정책 전이를 지원하기 위해.
• 지역적 탐색 영역 내에서 샘플 효율성을 유지하면서 메타학습 또는 예시로부터 유도된 이전 정책을 활용하기 위해.

제안 방법

• 이 방법은 베이지안 서rogate 모델의 예측 불확실성의 하위레벨셋에 정책 업데이트를 제약한다. 이는 불확실성이 임계값 이하인 점들의 집합으로 정의된다.
• 이 제약 조건은 최적화가 모델이 자신감을 가진 영역에서만 일어나도록 보장함으로써, 위험하거나 파손적인 행동의 위험을 줄인다.
• 획득 함수는 불확실성 제약 조건 하에 최적화되며, 이는 탐색을 안전하고 고신뢰도 영역으로 효과적으로 제한한다.
• 이 방법은 표준 BO 프레임워크와 호환되며 기존의 정책 그래디언트 또는 진화 전략과 자연스럽게 통합된다.
• 최적화 과정 중에 불확실성 임계값을 적응적으로 조정하여 안전한 범위 내에서 탐색과 이용의 균형을 이룬다.
• 이 방법은 연속 제어 작업 및 100차원이 넘는 고차원 정책 공간 모두에 적용된다.

실험 결과

연구 질문

• RQ1 실제 로봇에서 흔히 볼 수 있는 고차원 정책 공간(100차원 이상)에 대해 베이지안 최적화를 확장 가능하게 만들 수 있는가?
• RQ2 샘플 효율성을 희생시키지 않고 정책 최적화 중 시스템 안정성을 어떻게 향상시킬 수 있는가?
• RQ3 예측 불확실성에 의해 정의된 제약 탐색 공간이 실제 환경 및 시뮬레이션-실세계 전이 설정에서 안정적이고 효율적인 정책 학습을 가능하게 하는가?
• RQ4 샘플 효율성과 고차원 제어 작업에서의 강건성 측면에서 제안된 방법이 표준 BO보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 사전에 학습된 딥 강화학습 정책을 새로운 보상 신호에 맞게 적응시키는 데에 이 방법은 얼마나 효과적인가?

주요 결과

• Cautious Bayesian Optimization는 표준 BO가 과도한 탐색으로 실패하는 100차원 이상의 정책 탐색 문제에 성공적으로 확장된다.
• 이 방법은 정책 공간의 낮은 불확실성 영역으로 최적화를 제약함으로써 시스템 손상 위험을 크게 줄인다.
• 운동 기술 작업에서 CBO는 50회 이하의 평가로 수렴을 달성하였으며, 샘플 효율성과 안전성 측면에서 표준 BO를 모두 뛰어넘었다.
• 역퍼운드 펜듈럼 제어기의 시뮬레이션-실세계 전이에 있어서 CBO는 시뮬레이션에서 단 15회의 정책 평가 후에 성공적인 실세계 구동을 가능하게 하였다.
• 새로운 보상 신호에 대해 딥 RL 에이전트를 피지컬 조정할 때, CBO는 기준 방법보다 적은 환경 상호작용으로 동일하거나 더 우수한 성능을 달성하였다.
• 불확실성 기반 제약 조건은 초기 정책이 열등한 경우에도 안정적인 최적화를 가능하게 하여, 나쁜 초기화에 대한 강건성을 입증하였다.