[논문 리뷰] Using Simulation to Improve Sample-Efficiency of Bayesian Optimization for Bipedal Robots

Akshara Rai, Rika Antonova외 2명|arXiv (Cornell University)|2019. 01. 01.

Machine Learning and Algorithms인용 수 16

한 줄 요약

이 논문은 이착지 보행 로봇 컨트롤러를 훈련하는 데 있어 샘플 효율성을 향상시키기 위해 시뮬레이션 보강 베이지안 최적화 프레임워크를 제안한다. 물리 기반 시뮬레이션을 활용해 합성 데이터를 생성하고 할당 함수를 안내함으로써, 실제 세계의 시도-오류 과정을 줄이며 더 적은 실제 세계 에피소드로 더 빠른 수렴을 달성한다 — 표준 베이지안 최적화 대비 샘플 요구량을 최대 60%까지 감소시킴을 입증하였다.

ABSTRACT

Learning for control can acquire controllers for novel robotic tasks, paving the path for autonomous agents. Such controllers can be expert-designed policies, which typically require tuning of para ...

연구 동기 및 목표

• 실제 로봇 제어에서 각 시도가 비용이 많이 들고 시간이 오래 걸리는 베이지안 최적화의 높은 샘플 복잡도를 해결하기 위해.
• 최적화 루프에 물리 기반 시뮬레이션을 통합하여 광범위한 실제 세계 시도에 대한 의존도를 줄이기 위해.
• 이착지 이동을 위한 안정적이고 일반화 가능한 컨트롤러를 학습하는 데 샘플 효율성을 향상시키기 위해.
• 시뮬레이션으로 생성된 데이터가 성능을 손상시키지 않고 실제 세계 정책 최적화를 효과적으로 안내할 수 있는지 검증하기 위해.

제안 방법

• 해당 방법은 실세계 동역학을 근사하는 합성 롤아웃을 생성하기 위해 미분 가능한 물리 기반 시뮬레이터를 사용한다.
• 초기 설정값 공간 전역에서 정책 성능을 예측하기 위해 실세계 데이터와 시뮬레이션 데이터를 모두 사용해 서rogate 모델을 훈련시킨다.
• 실세계 데이터의 기대 개선도와 시뮬레이션 데이터의 기대 개선도를 조합한 하이브리드 할당 함수를 통해 탐색과 이용의 균형을 이룬다.
• 할당 함수에 기반해 반복적으로 새로운 초기 설정 구성(configuration)을 선택하며, 시뮬레이션을 통해 식별된 유망한 영역을 우선시한다.
• 시뮬레이션에서 실세계로의 도메인 갭을 보정하기 위해 소량의 실제 세계 평가를 사용해 서rogate 모델을 미세조정하는 전이 학습 구성 요소를 포함한다.
• 실제 세계 배포 중 안전성과 안정성을 유지하기 위해 최적화 과정이 제약을 받으며, 시뮬레이션을 사용해 위험한 구성 요소를 사전에 걸러낸다.

실험 결과

연구 질문

• RQ1 시뮬레이션으로 생성된 데이터가 이착지 로봇 제어에서의 베이지안 최적화에 있어 실제 세계 시도 수를 상당히 줄일 수 있는가?
• RQ2 할당 함수에 실세계 데이터와 시뮬레이션 데이터를 함께 통합할 경우 수렴 속도와 최종 정책 성능에 어떤 영향을 미치는가?
• RQ3 물리 기반 시뮬레이션이 복잡한 이동 작업에 대해 실세계 정책 성능을 얼마나 정확하게 예측할 수 있는가?
• RQ4 샘플 효율성을 향상시키기 위해 시뮬레이션 정밀도와 계산 비용 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 하이브리드 할당 함수가 시뮬레이션에서의 탐색과 실세계 데이터에서의 이용을 얼마나 효과적으로 균형 잡는가?

주요 결과

• 시뮬레이션 보강 접근법은 표준 베이지안 최적화 대비 실제 세계 시도 수를 최대 60%까지 줄였다.
• 제안된 방법으로 훈련된 정책은 다양한 지형 조건에서 더 높은 평균 보상과 더 큰 강건성을 달성했다.
• 시뮬레이션 데이터 통합으로 인해 수렴 속도가 향상되었으며, 최적 성능에 도달하는 데 20회 미만의 실제 세계 에피소드로 충분했다.
• 하이브리드 할당 함수는 순수 실세계 또는 순수 시뮬레이션 기반 대안보다 샘플 효율성과 최종 정책 성능 모두에서 뛰어난 성능을 보였다.
• 전이 학습 미세조정은 시뮬레이션에서 실세계로의 도메인 갭을 크게 줄였으며, 시뮬레이션 예측이 실제 세계 설정에서도 예측 가능하게 보장했다.
• 이 방법은 실제 상호작용을 최소화하면서도 도전적인 지형에서 안정적이고 민첩한 보행 패턴을 훈련하는 데 성공했다.