[논문 리뷰] Bayesian Optimization for Policy Search in High-Dimensional Systems via Automatic Domain Selection

Lukas P. Fröhlich, Edgar D. Klenske외 2명|arXiv (Cornell University)|2019. 01. 01.

Machine Learning and Algorithms인용 수 3

한 줄 요약

이 논문은 고차원 정책 탐색을 위한 베이지안 최적화(Bayesian optimization, BO) 프레임워크를 제안하며, 학습된 동역학 모델을 활용해 최적화 도메인을 자동으로 정의하고 선형 임bedding를 통해 효과적 차원을 감소시킨다. 동적 도메인 적응(Dynamic domain adaptation, DDA)을 도입하여 필요에 따라 탐색 공간을 확장함으로써, 48차원 헬리코프터 제어에서 더 빠른 수렴 속도와 우수한 성능을 달성한 샘플 효율적인 BO를 실현한다.

ABSTRACT

Bayesian Optimization (BO) is an effective method for optimizing expensive-to-evaluate black-box functions with a wide range of applications for example in robotics, system design and parameter optimization. However, scaling BO to problems with large input dimensions (>10) remains an open challenge. In this paper, we propose to leverage results from optimal control to scale BO to higher dimensional control tasks and to reduce the need for manually selecting the optimization domain. The contributions of this paper are twofold: 1) We show how we can make use of a learned dynamics model in combination with a model-based controller to simplify the BO problem by focusing onto the most relevant regions of the optimization domain. 2) Based on (1) we present a method to find an embedding in parameter space that reduces the effective dimensionality of the optimization problem. To evaluate the effectiveness of the proposed approach, we present an experimental evaluation on real hardware, as well as simulated tasks including a 48-dimensional policy for a quadcopter.

연구 동기 및 목표

• 고차원 제어 정책 탐색에서 표준 BO의 확장성 문제를 해결하기 위해, 차원의 극복(curse of dimensionality)으로 인해 표준 BO가 비현실적이게 되는 문제를 다루기 위해.
• 학습된 동역학 모델과 모델 기반 제어 기법을 사용해 최적화 경계를 자동으로 결정함으로써 수동적 도메인 선택에 대한 의존도를 감소시키기 위해.
• 목적 함수의 효과적 구조를 포괄하는 저차원 선형 임베딩을 식별함으로써 샘플 효율성을 향상시키기 위해.
• 최적화 과정 중에 너무 제한적인 초기 도메인으로 인한 모델 편향을 완화하기 위해 동적 도메인 적응(Dynamic domain adaptation, DDA)을 통해 도메인을 동적으로 조정하기 위해.
• 모델 기반의 통찰을 활용해 도메인과 임베딩 선택을 수행하면서도, 고차원 공간에서 직접 모델 프리 없는 정책 최적화를 가능하게 하기 위해.

제안 방법

• 모델 기반 제어기(예: LQR)를 유도하기 위해 학습된 동역학 모델을 활용하여 최적화에 적합한 매개변수 공간 영역을 안내한다.
• 제어기의 안정성 영역을 활용해 초기 도메인 경계를 자동으로 정의함으로써 수동 조정을 제거한다.
• 주성분 분석(PCA)을 적용하여 목적 함수의 주요 변동을 포괄하는 저차원 선형 부분공간(임베딩)을 식별한다.
• 동적 도메인 적응(Dynamic domain adaptation, DDA)을 도입: 만약 사기 모델이 경계 근처에서 최적값을 예측하면, 해당 방향으로 도메인을 확장하여 조기 수렴을 방지한다.
• 감소된 차원의 도메인에서 모델 프리 BO를 수행하며, 가우시안 프로세스(GP) 사기 모델을 사용해 획득 함수 최적화를 이끈다.
• 도메인 선택 및 임베딩 기법을 안전한 탐색 전략과 융합하여 위험한 정책을 거부하고, 이에 고비용을 할당함으로써 하드웨어 손상을 방지한다.

실험 결과

연구 질문

• RQ1 학습된 동역학 모델을 사용해 고차원 정책 탐색에서 베이지안 최적화의 매개변수 도메인을 자동으로 정의할 수 있는가?
• RQ2 성능을 유지하면서도 고차원 정책 최적화 문제의 효과적 차원을 어떻게 감소시킬 수 있는가?
• RQ3 동적 도메인 적응이 BO 기반 정책 탐색에서 수렴성과 최종 성능을 향상시키는가?
• RQ4 제안된 방법이 표준 BO 및 REMBO와 비교해 고차원 제어 과제에서 뛰어난 성능을 달성할 수 있는가?
• RQ5 이 방법은 도메인 및 임베딩 선택에 있어 전문 지식의 필요성을 어느 정도 감소시키는가?

주요 결과

• 제안된 방법은 48차원 헬리코프터 제어 과제에서 30회 이터레이션 이내에 명목상 LQR 정책을 뛰어넘는 더 빠른 수렴 속도를 기록했으며, 일관되게 뛰어난 성능을 보였다.
• PCA 도메인에서 최적화함으로써 효과적 탐색 공간이 감소하여 독립성(랜덤) 도메인보다 더 빠른 수렴을 이끌었다.
• 동적 도메인 적응(Dynamic domain adaptation, DDA)은 수렴 속도를 더욱 가속화했으며, 초기 도메인이 너무 작았음에도 불구하고 LQR 기준선을 뛰어넘는 정책을 도출할 수 있었다.
• 효과적 차원이 10과 20인 REMBO와 비교했을 때, PCA 도메인과 DDA를 활용한 제안된 방법은 유의미하게 뛰어난 성능을 보였으며, 랜덤 임베딩을 사용한 REMBO는 성능이 열 劣했다.
• 궤적 시각화 결과, 최적화된 정책이 목표 상태로 더 빠르게 수렴하고 피치 각도에서 오버슈트를 감소시켰음을 확인했다.
• 안전 제약 조건이 있는 실제 하드웨어에서 성공적인 정책 최적화를 실현했으며, 위험한 정책을 거부하고 고비용을 할당함으로써 시스템 손상을 방지했다.