[논문 리뷰] Traversing the Reality Gap via Simulator Tuning

Jack Collins, Ross Brown외 2명|arXiv (Cornell University)|2020. 03. 03.

Simulation Techniques and Applications참고 문헌 31인용 수 9

한 줄 요약

이 논문은 현실 갭을 줄이기 위해 차별적 진화를 사용하여 로봇 시뮬레이터의 물리 엔진 파라미터를 튜닝함으로써, 기본 설정보다 유의미하게 높은 시뮬레이션 정확도를 달성한다. 주요 결과는 마찰, 타임스텝, 최대 관절 속도가 가장 영향력 있는 파라미터이며, 이들을 최적화하면 로봇 행동의 더 신뢰할 수 있는 시뮬레이션에서 실제 환경으로의 전이를 가능하게 한다.

ABSTRACT

The large demand for simulated data has made the reality gap a problem on the forefront of robotics. We propose a method to traverse the gap by tuning available simulation parameters. Through the optimisation of physics engine parameters, we show that we are able to narrow the gap between simulated solutions and a real world dataset, and thus allow more ready transfer of leaned behaviours between the two. We subsequently gain understanding as to the importance of specific simulator parameters, which is of broad interest to the robotic machine learning community. We find that even optimised for different tasks that different physics engine perform better in certain scenarios and that friction and maximum actuator velocity are tightly bounded parameters that greatly impact the transference of simulated solutions.

연구 동기 및 목표

• 시뮬레이션 정밀도를 향상시켜 로봇 분야의 현실 갭을 해결하기 위해 파라미터 튜닝을 수행한다.
• 로봇 시뮬레이션 행동의 현실성에 가장 크게 영향을 주는 물리 엔진 파라미터를 규명한다.
• 학습된 정책을 시뮬레이션에서 실제 하드웨어로 더 신뢰성 있게 전이할 수 있도록 한다.
• 연구자들이 시뮬레이션 校정 시 우선적으로 고려해야 할 시뮬레이터 파라미터에 대한 실용적 지침을 제공한다.

제안 방법

• 고차원적이고 미분 불가능한 문제에 적합한 도함수 기반 최적화 기법이 아닌 유전자 알고리즘인 차별적 진화(DE)를 사용하여 시뮬레이션 파라미터를 최적화한다.
• 적합도 평가를 위한 기준으로 로봇 조작 작업의 실제 움직임 캡처 데이터셋을 사용한다.
• 적합도 함수를 시뮬레이션된 손목 궤적과 실제 궤적 간 유클리드 거리 오차의 합과 최종 물체 배치 오차의 합으로 정의한다.
• 모든 작업에 공통으로 적용되는 공유 파라미터 최적화와 각 작업별로 별도로 최적화하는 개별 파라미터 최적화를 수행하여 맥락 민감도를 평가한다.
• 타임스텝, 횡방향 마찰, 복원계수, 질량, 최대 관절 속도 등을 포함한 다양한 물리 엔진 파라미터를 튜닝한다.
• 두 개의 시뮬레이터(PyBullet 및 Bullet)와 다섯 종류의 물리 엔진(Bullet 2.78, 2.83, ODE, DART, Newton)에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 로봇 시뮬레이션에서 현실 갭을 줄이는 데 가장 큰 영향을 주는 물리 엔진 파라미터는 무엇인가?
• RQ2 차별적 진화가 대규모 시뮬레이터 파라미터 세트를 효과적으로 최적화하여 시뮬레이션에서 실제 환경으로의 전이를 향상시킬 수 있는가?
• RQ3 공유 파라미터 최적화와 작업별 개별 파라미터 최적화 간의 시뮬레이션 정확도를 비교할 때 어떤 차이가 있는가?
• RQ4 접촉 역학, 마찰과 같은 특정 물리 현상은 고에너지 또는 복잡한 작업에서 파라미터 튜닝에 더 민감한가?
• RQ5 다양한 유형의 로봇 작업(예: 운동학적 작업 vs. 물체 상호작용) 간 최적 파라미터 값은 어느 정도로 다를까?

주요 결과

• 공유 파라미터 최적화는 11개 실험 전반에서 현실 갭을 감소시켰으며, 모든 경우에서 일반적인 시뮬레이터 파라미터보다 우수한 성능을 보였다.
• 모든 물리 엔진에서 가장 영향력 있는 파라미터는 시뮬레이션 타임스텝, 횡방향 마찰, 최대 관절 속도였으며, 이들은 실제 측정값과 매우 가까운 좁은 범위의 최적 값을 가졌다는 점에서 뚜렷했다.
• 고에너지 접촉 작업(예: 물체 굴리기 또는 충격)에서는 복원계수가 통계적으로 유의미한 파라미터로 나타났으며, 최적 값의 표준편차가 뚜렷하게 관찰되었다.
• 로봇 암 링크의 질량 파라미터는 최적화 과정에서 낮은 표준편차를 보였으며, 특히 단순한 작업에서는 이들이 정확한 동역학 시뮬레이션에서 중요한 역할을 한다는 점이 확인되었다.
• 개별 파라미터 최적화는 55개 사례 중 3개에서만 적합도를 향상시켰고, 5개의 사례에서는 결과를 악화시켰다. 이는 수렴 문제와 노이즈로 인해 복잡성이 증가할수록 성능이 떨어지는 경향이 있음을 시사한다.
• 최적화에 168시간의 시간 제한을 두었더니 55개의 개별 실행 중 14개가 조기 종료되었으며, 이는 고차원 파라미터 공간에서의 계산적 과제를 강조한다.