[논문 리뷰] Bayesian Optimization Meets Riemannian Manifolds in Robot Learning

Noémie Jaquier, Leonel Rozo외 2명|arXiv (Cornell University)|2019. 10. 11.

Gaussian Processes and Bayesian Inference참고 문헌 37인용 수 11

한 줄 요약

이 논문은 기하학적 인식 Bayesian Optimization (GaBO)를 제안하며, 기하학적 인식 커널과 리만 다양체 최적화를 활용해 기계 학습에서 데이터 효율성과 수렴성을 향상시킵니다. 특히 자이로스코픽 및 스태틱 매트릭스와 같은 고차원 비유클리드 매개변수 공간에서 표준 유클리드 BO보다 수렴 속도, 정확도, 분산 감소 측면에서 뛰어난 성능을 보입니다.

ABSTRACT

Bayesian optimization (BO) recently became popular in robotics to optimize control parameters and parametric policies in direct reinforcement learning due to its data efficiency and gradient-free approach. However, its performance may be seriously compromised when the parameter space is high-dimensional. A way to tackle this problem is to introduce domain knowledge into the BO framework. We propose to exploit the geometry of non-Euclidean parameter spaces, which often arise in robotics (e.g. orientation, stiffness matrix). Our approach, built on Riemannian manifold theory, allows BO to properly measure similarities in the parameter space through geometry-aware kernel functions and to optimize the acquisition function on the manifold as an unconstrained problem. We test our approach in several benchmark artificial landscapes and using a 7-DOF simulated robot to learn orientation and impedance parameters for manipulation skills.

연구 동기 및 목표

• 로봇 분야에서 흔한 고차원 비유클리드 매개변수 공간에서 Bayesian Optimization(BO)의 성능 저하 문제를 해결한다.
• 유클리드 가정에 의존하는 표준 BO의 한계를 극복하여 로봇 매개변수 공간의 내재 기하학적 구조를 포착하지 못하는 문제를 해결한다.
• 특히 리만 다이나믹스의 기하학적 구조를 도메인 특화 지식으로 통합하여 일반화 및 최적화 효율성을 향상시킨다.
• 작업에 특화되지 않은 기하학적 인식 BO의 확장 가능한, 작업 무관인 접근법을 개발하여 다양한 로봇 제어 작업에 일반화 가능하도록 한다.
• 자이로스코픽 및 임피던스 매개변수를 포함한 벤치마크 환경과 시뮬레이션된 로봇 조작 작업에서 프레임워크의 유효성을 입증한다.

제안 방법

• 기하학적 인식 커널 함수를 도입하여 기하학적 거리(지오데식 거리)를 사용해 리만 다양체 상의 매개변수 간 유사도를 계산함으로써 유클리드 거리 대신 사용한다.
• 리만 다양체 도구를 활용해 Acquisition 함수를 다양체 상에서 제약 조건이 없는 문제로 변환하여 리만 최적화 기법을 적용한다.
• 리만 커널을 사용한 가우시안 프로세스(GPs)를 도입하여 cost 함수를 모델링함으로써 비유클리드 공간에서 정확한 함수 근사가 가능하도록 한다.
• 탐색 중 다양체의 내재 기하학을 존중하기 위해 Acquisition 함수 최적화에 리만 트러스트 영역 방법을 사용한다.
• 로봇 정책 최적화를 위한 직접 강화 학습 파이프라인에 프레임워크를 통합하여 데이터 효율성과 안전성을 유지한다.
• 물리적 일관성과 기하학적 정확도를 확보하기 위해 다이나믹스 전용 매개변수화(예: SO(3)에 대한 쿼aternion, 스태틱성에 대한 대칭 정규행렬)를 사용한다.

실험 결과

연구 질문

• RQ1 기하학적 인식 Bayesian 최적화는 고차원 비유클리드 로봇 매개변수 공간에서 수렴성과 정확도를 향상시킬 수 있는가?
• RQ2 커널 함수에 리만 다양체의 기하학적 구조를 통합할 경우, Gaussian 프로세스 모델의 일반화 및 성능에 어떤 영향을 미치는가?
• RQ3 Euclidean BO 대비 Acquisition 함수의 리만 최적화가 분산 감소와 수렴 가속화에 얼마나 기여하는가?
• RQ4 표준 BO 및 코レス키 기반 대안 대비 GaBO는 매개변수 다양체의 차원 증가에 따라 어떻게 스케일링되는가?
• RQ5 자이로스코픽 및 임피던스 매개변수를 포함한 실제 로봇 제어 작업에 대해 작업에 특화된 커널 설계 없이 GaBO를 효과적으로 적용할 수 있는가?

주요 결과

• 모든 벤치마크 함수와 로봇 작업에서 표준 유클리드 BO 대비 GaBO는 더 빠른 수렴과 낮은 해의 분산을 달성했다.
• 3-구면다양체(S³)에서 GaBO는 30회의 시험 동안 유의미하게 낮은 분산으로 근사 제로 비용 해에 수렴했다.
• 2차원 및 3차원 대칭 정규행렬 다양체(S²₊ 및 S³₊)에서 GaBO는 유클리드 BO 및 코レス키 기반 BO를 모두 압도했으며, 특히 차원 증가에 따라 성능이 뚜렷하게 향상되었다.
• 7-DOF 로봇의 스태틱 매트릭스 최적화에서 GaBO는 더 낮은 총 비용과 향상된 추적 성능를 기록했으며, 토크 소비도 감소시켜 실제 로봇 제어 환경에서의 강인성을 입증했다.
• 다양체 차원 증가에 따라 GaBO와 유클리드 BO 간 성능 격차가 점점 커지며 기하학적 인식 모델링의 스케일링 이점이 확인되었다.
• 표준 BO가 신뢰성 있게 수렴하지 못하는 고차원 비유클리드 공간(예: 3×3 대칭 정규행렬)에서도 GaBO는 일관되고 정확한 최적화를 유지했다.