[논문 리뷰] Deep Kernels for Optimizing Locomotion Controllers

Rika Antonova, Akshara Rai외 1명|arXiv (Cornell University)|2017. 07. 27.

Robotic Locomotion and Control참고 문헌 18인용 수 5

한 줄 요약

이 논문은 고정밀 시뮬레이션 데이터를 기반으로 훈련된 딥 네ural 네트워크를 사용하여 보행 컨트롤러 튜닝에서 베이지안 최적화(Bayesian Optimization, BO)를 위한 정보 있는 거리 척도를 학습하는 방법을 제안한다. 궤적 요약 또는 비용 함수로부터 행동 유사성을 포착하는 커널을 학습함으로써, 표준 커널 대비 시료 효율성이 크게 향상되어, 5D ATRIAS 로봇과 시뮬레이션 내 16D 신경근육 모델 양쪽 모두에서 시행 횟수를 50% 이상 감소시킨다.

ABSTRACT

Sample efficiency is important when optimizing parameters of locomotion controllers, since hardware experiments are time consuming and expensive. Bayesian Optimization, a sample-efficient optimization framework, has recently been widely applied to address this problem, but further improvements in sample efficiency are needed for practical applicability to real-world robots and high-dimensional controllers. To address this, prior work has proposed using domain expertise for constructing custom distance metrics for locomotion. In this work we show how to learn such a distance metric automatically. We use a neural network to learn an informed distance metric from data obtained in high-fidelity simulations. We conduct experiments on two different controllers and robot architectures. First, we demonstrate improvement in sample efficiency when optimizing a 5-dimensional controller on the ATRIAS robot hardware. We then conduct simulation experiments to optimize a 16-dimensional controller for a 7-link robot model and obtain significant improvements even when optimizing in perturbed environments. This demonstrates that our approach is able to enhance sample efficiency for two different controllers, hence is a fitting candidate for further experiments on hardware in the future.

연구 동기 및 목표

• 실물 하드웨어에서 각 시행이 비용이 많이 들고 시간이 오래 걸리는 고차원 보행 컨트롤러 최적화의 낮은 시료 효율성 문제를 해결하기 위해.
• 베이지안 최적화에서 전문가가 정의한 거리 척도에 의존하는 문제를 해결하기 위해, 시뮬레이션 데이터로부터 자동으로 정보 있는 커널 구조를 학습하기 위해.
• 복잡한 이족 보행 작업에서 매끄럽고 비매끄러운 비용 함수 모두에 대해 최적화 성능을 향상시키기 위해.
• 수동적인 기능 공학 없이 시뮬레이션 데이터를 활용하여 실제 로봇에서 고급 컨트롤러의 실용적이고 확장 가능한 최적화를 가능하게 하기 위해.

제안 방법

• 고정밀 시뮬레이션에서의 궤적 요약을 사용하여, 제어기 파라미터를 행동 유사성을 포착하는 저차원 임bedding 공간으로 매핑하는 딥 네ural 네트워크를 훈련한다.
• 제어기 파라미터에서 비용 함수 값(예: 보행 거리, 속도, 운반 비용 등)을 예측하는 네ural 네트워크를 훈련하여 비용 기반 커널을 구성한다.
• 로봇 궤적의 압축된 8차원 요약을 재구성하는 데 목적이 있는 네ural 네트워크를 훈련하여, 유사성 기반 커널 학습이 가능한 비용 무관 커널을 구성한다.
• 학습된 임bedding을 베이지안 최적화의 가우시안 프로세스 커널의 입력으로 사용하여, 표준 RBF 또는 Matérn 커널을 대체한다.
• 학습된 커널을 하드웨어(AcTRIAS)와 시뮬레이션(신경근육 모델)에서 평가하여, 표준 RBF 및 도메인 전용 DoG 커널과의 성능을 비교한다.
• 시뮬레이션 모델에 변형을 가하여(예: 질량/관성의 변화, 불규칙한 지형) 도메인 이동 하에서 커널의 강건성을 시험한다.

실험 결과

연구 질문

• RQ1 도메인 전문 지식에 의존하지 않고, 딥 네ural 네트워크가 보행 제어 최적화에서 베이지안 최적화에 효과적이고 임무 관련 거리 척도를 학습할 수 있는가?
• RQ2 표준 RBF 커널과 전문가가 설계한 DoG 커널에 비해, 시뮬레이션에서 학습된 커널은 실제 세계 보행 컨트롤러 최적화에서 얼마나 높은 시료 효율성을 보이는가?
• RQ3 궤적 요약 재구성 기반의 비용 무관 커널이 도전적인 최적화 상황에서 비용 기반 커널과 비교해 유사하거나 더 뛰어난 성능을 보일 수 있는가?
• RQ4 환경적 변형(예: 질량/관성의 변화, 불규칙한 지형)이 존재하는 상황에서도, 제안된 방법이 고차원 제어기(예: 16D) 최적화에서 높은 시료 효율성을 유지할 수 있는가?

주요 결과

• ATRIAS 로봇에서, 비용 기반 딥 커널은 RBF 커널을 사용할 경우 90% 성공률(넘어지지 않고 걷기)에 도달하기 위해 90회 이상의 시행이 필요했으나, 이는 단 25회의 시행으로 감소하였다.
• 매끄러운 비용 함수를 가진 16차원 신경근육 제어기의 경우, 궤적 임bedding 커널(trajNN)은 25회의 시행 후 90% 이상의 성공률를 달성하였으며, 수동으로 설계된 DoG 커널과 동일한 성능을 보였다.
• 넘어짐을 방지하고 목표 속도를 유도하는 비매끄러운 비용 함수 조건에서, trajNN 커널은 100회의 시행 후 70%의 성공률를 기록했고, RBF 커널은 동일 조건에서 뿐다 50번의 시행 중 1번(2%)만 성공하였다.
• 비용 무관인 trajNN 커널은 매끄럽고 비매끄러운 비용 상황 모두에서 RBF 커널보다 뚜렷이 뛰어난 성능을 보였으며, 다양한 최적화 목표에 대한 강건성과 일반화 능력을 입증하였다.
• 질량/관성의 변화나 불규칙한 지형 등의 시뮬레이션에서 실제 세계로의 도메인 이동 조건에서도 상당한 시료 효율성 향상을 달성하여, 높은 전이 가능성(transferability)을 보였다.
• 결과적으로, 시뮬레이션 데이터로부터 커널을 엔드 투 엔드로 학습하는 방법이 전문가가 설계한 커널의 성능을 따라하거나 초월할 수 있으며, 수동적인 공학 설계에 대한 의존도를 줄일 수 있음을 보여주었다.