[논문 리뷰] Bayesian Optimization in Variational Latent Spaces with Dynamic Compression

Rika Antonova, Akshara Rai외 2명|arXiv (Cornell University)|2019. 07. 10.

Gaussian Processes and Bayesian Inference참고 문헌 40인용 수 11

한 줄 요약

이 논문은 시뮬레이션된 로봇 궤적을 저차원 잠재 공간에 임bedding하는 순차적 변분 autoencoder(SVAE)를 사용한 베이지안 최적화 프레임워크를 제안한다. 이는 로봇 컨트롤러의 데이터 효율적인 하이퍼파라미터 튜닝을 가능하게 한다. 궤적의 바람직함에 기반해 탐색 공간을 동적으로 압축함으로써, 단 10~20회의 시도만으로도 하드웨어(Daisy 헥사포드 및 ABB Yumi)와 시뮬레이션 환경에서 기존 베이지안 최적화(Baselines) 방법들을 능가하는 성능을 달성한다.

ABSTRACT

Data-efficiency is crucial for autonomous robots to adapt to new tasks and environments. In this work we focus on robotics problems with a budget of only 10-20 trials. This is a very challenging setting even for data-efficient approaches like Bayesian optimization (BO), especially when optimizing higher-dimensional controllers. Simulated trajectories can be used to construct informed kernels for BO. However, previous work employed supervised ways of extracting low-dimensional features for these. We propose a model and architecture for a sequential variational autoencoder that embeds the space of simulated trajectories into a lower-dimensional space of latent paths in an unsupervised way. We further compress the search space for BO by reducing exploration in parts of the state space that are undesirable, without requiring explicit constraints on controller parameters. We validate our approach with hardware experiments on a Daisy hexapod robot and an ABB Yumi manipulator. We also present simulation experiments with further comparisons to several baselines on Daisy and two manipulators. Our experiments indicate the proposed trajectory-based kernel with dynamic compression can offer ultra data-efficient optimization.

연구 동기 및 목표

• 기존 강화학습 및 표준 베이지안 최적화가 실패하는 10~20회의 시도 이내에서 데이터 효율성 문제를 해결하기 위해.
• 베이지안 최적화에서 시뮬레이션 기반 커널에 대한 수동으로 설계된 특징에 의존하는 것을 제거하기 위해 비지도 표현 학습을 활용하기 위해.
• 고차원 컨트롤러 공간에서의 탐색 효율성을 향상시키기 위해, 잠재 궤적 공간에서 바람직하지 않은 행동 영역을 동적으로 압축하기 위해.
• 시뮬레이션에서 실세계로의 전이 갭을 해소하기 위해, 시뮬레이션에서 바람직도 인식 커널을 학습함으로써 로봇 정책 최적화를 향상시키기 위해.
• 다양한 로봇 작업에 걸쳐 단일 통합 아키텍처를 사용해 실세계 하드웨어에서 빠르고 안정적인 수렴을 가능하게 하기 위해.

제안 방법

• 고차원 로봇 상태 시퀀스를 저차원 잠재 경로 공간으로 매핑하기 위해, 시뮬레이션된 궤적을 기반으로 순차적 변분 autoencoder(SVAE)를 학습한다.
• SVAE는 조건부 분포 $ p(\boldsymbol{\tau}|\boldsymbol{x}) $를 함께 모델링한다. 여기서 $ \boldsymbol{x} $는 컨트롤러 파라미터이고, $ \boldsymbol{\tau} $는 잠재 경로이다.
• 궤적의 바람직함은 충돌, 물체 기울임, 작업 영역 위반 등의 경우를 표시하는 이진 지표 $ G_{bad} $로 정량화된다.
• 동적 압축은 잠재 공간 내 거리 척도를 바람직도에 따라 조정하여, 베이지안 최적화 과정에서 바람직하지 않은 영역의 탐색을 감소시킨다.
• 결과적으로 생성된 SVAE-DC 커널은 베이지안 최적화 루프 내에서 사용되며, 하이퍼파rameter(커널 파라미터 포함)는 국소 우도를 최적화하여 온라인으로 조정된다.
• 이 프레임워크는 실세계 로봇(Daisy 헥사포드, ABB Yumi)과 시뮬레이션된 조작기(Franka Emika, Yumi)에서 평가되었으며, 확장 가능한 GPU 가속 베이지안 최적화를 위해 BoTorch 라이브러리를 사용하였다.

실험 결과

연구 질문

• RQ1 SVAE를 통한 비지도 표현 학습이 로봇 제어를 위한 베이지안 최적화에서 데이터 효율성을 향상시키는가?
• RQ2 궤적의 바람직함에 기반한 잠재 공간의 동적 압축이 저시도 환경에서 수렴 속도와 성공률을 향상시키는가?
• RQ3 SVAE-DC 커널은 표준 커널(예: 제곱 지수 커널, BBK-KL)과 비교해 시뮬레이션에서 실세계로의 전이 갭에서 성능 및 강건성 측면에서 어떻게 성능을 내는가?
• RQ4 동일한 SVAE-DC 아키텍처가 최소한의 재조정으로 다양한 로봇 플랫폼과 작업에 일반화되는가?
• RQ5 잠재 공간 차원 수가 증가하면 데이터 효율성이 떨어지며, 동적 압축이 이를 보완할 수 있는가?

주요 결과

• ABB Yumi 조작기에서의 하드웨어 실험에서, SVAE-DC는 모든 기준 방법보다 뚜렷한 성능 향상을 보였으며, 시뮬레이션과 실세계 간의 차이에 대해 강건한 컨트롤러를 성공적으로 찾았다.
• Daisy 헥사포드에서, 이 방법은 10번 이내의 하드웨어 시도로 걷기 행동을 학습했으며, 표준 커널을 사용한 무지식한 베이지안 최적화보다 일관되게 뛰어난 성능을 보였다.
• 시뮬레이션 환경에서는 SVAE-DC를 사용한 베이지안 최적화가 Yumi 및 Franka Emika 양쪽 모두에서 모든 기준 방법을 능가했으며, 각 실행 시 물체의 성질을 무작위화함으로써 시뮬레이션-실세계 이격을 시뮬레이션하는 조건에서도 성능 향상이 유지되었다.
• 잠재 공간 차원을 30D로 늘리고 네트워크 폭을 256로 늘였을 때도 SVAE-DC는 성능을 유지했고, 실행 간 분산을 감소시켜 커널 차원 수에 대한 강건성을 입증했다.
• Matérn 커널은 제곱 지수 커널보다 일관된 향상을 제공하지 못했으며, 둘 다 SVAE-DC를 능가하지 못했고, SVAE-DC는 모든 설정에서 그 우월성을 유지했다.
• SVAE-DC 커널은 최소한의 하이퍼파라미터 조정으로도 신뢰할 수 있는 수렴을 가능하게 하여, 다양한 로봇 작업 및 하드웨어 플랫폼 간 강력한 일반화 능력을 보였다.