[논문 리뷰] Object-centric Forward Modeling for Model Predictive Control

Yufei Ye, Dhiraj Gandhi외 2명|arXiv (Cornell University)|2019. 10. 08.

Reinforcement Learning in Robotics참고 문헌 33인용 수 6

한 줄 요약

이 논문은 시각적 특징을 암묵적으로 가지며 공간적으로 국소화된 개체로 장면을 표현하는 개체 중심의 전방 모델을 제안한다. 이는 행동 효과와 상호작용을 정확하게 예측할 수 있도록 하며, 보정 모듈을 갖춘 모델 예측 제어를 통해 시뮬레이션 및 실제 로봇 조작 작업에서 먼 목표를 향한 샘플 효율적이고 강건한 계획을 달성한다. 픽셀 공간 기반 및 암묵적 기반 기준 모델보다 뛰어난 성능을 발휘한다.

ABSTRACT

We present an approach to learn an object-centric forward model, and show that this allows us to plan for sequences of actions to achieve distant desired goals. We propose to model a scene as a collection of objects, each with an explicit spatial location and implicit visual feature, and learn to model the effects of actions using random interaction data. Our model allows capturing the robot-object and object-object interactions, and leads to more sample-efficient and accurate predictions. We show that this learned model can be leveraged to search for action sequences that lead to desired goal configurations, and that in conjunction with a learned correction module, this allows for robust closed loop execution. We present experiments both in simulation and the real world, and show that our approach improves over alternate implicit or pixel-space forward models. Please see our project page (https://judyye.github.io/ocmpc/) for result videos.

연구 동기 및 목표

• 장기적인 시점의 로봇 계획을 위해 구조화되고 개체 중심의 표현 방식으로 개체 간 상호작용과 행동 효과를 포괄하는 전방 모델을 개발한다.
• 픽셀 공간 또는 암묵적 표현 기반 전방 모델에 비해 샘플 효율성과 예측 정확도를 향상시킨다.
• 실시간 관측을 사용해 예측을 보정하는 학습된 보정 모듈을 통합하여 강건한 닫힘 루프 제어를 가능하게 한다.
• 시뮬레이션 및 실제 로봇 조작 환경에서의 일반화 능력을 입증한다.
• 정확한 동역학 모델에 의존하는 것을 줄이기 위해 무작위 상호작용 데이터로부터 상호작용 인식 가능하고 구조화된 세계 표현을 학습한다.

제안 방법

• 장면를 개체의 집합으로 표현하며, 명시적인 공간적 위치와 암묵적인 시각적 특징을 갖추어 개체 역학의 구조화된 모델링을 가능하게 한다.
• 그래프 신경망을 사용해 로봇과 개체 간, 개체 간의 상호작용을 모델링함으로써 행동에 따른 개체 상태(위치 및 특징) 변화를 예측하는 전방 모델을 훈련한다.
• 목표 구성에 도달하는 행동 시퀀스를 찾기 위해 모델 예측 제어(MPC)와 교차 엔트로피 방법(CEM)을 사용한다.
• 중간 관측을 사용해 개체 상태를 재추정하는 보정 모듈을 통합하여 닫힘 루프 실행과 오차 보정을 가능하게 한다.
• 정확한 진동 모델이 필요 없도록 무작위 상호작용 데이터를 활용해 자기 지도 학습을 수행한다.
• 전방 모델을 T단계 동안 전개하여 장기 시점 행동 시퀀스를 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 픽셀 공간 또는 암묵적 표현 기반 모델에 비해 개체 중심의 전방 모델이 장기 시점 계획 정확도를 향상시킬 수 있는가?
• RQ2 개체 간 상호작용을 모델링하면 로봇 조작 작업에서 예측 정확도와 샘플 효율성에 어떤 영향을 미치는가?
• RQ3 학습된 보정 모듈은 모델 정확도가 떨어지는 상황에서도 닫힘 루프 실행의 강건성에 얼마나 기여하는가?
• RQ4 복잡한 개체 상호작용과 큰 동작 변화가 발생하는 실제 환경에서도 이 방법이 일반화 가능한가?
• RQ5 개체 중심 표현의 구조적 인덕티브 바이어스는 종래의 엔드 투 엔드 픽셀 기반 모델링보다 더 나은 일반화를 어떻게 지원하는가?

주요 결과

• 제안된 개체 중심 전방 모델은 장기 시점 계획에서 픽셀 공간 기반 및 암묵적 표현 기반 기준 모델을 모두 능가하며, 특히 개체 간 상호작용과 충돌 인식이 필요한 시나리오에서 뛰어난 성능을 보인다.
• 절단 실험 결과 상호작용 네트워크를 제거할 경우 초기 성과는 더 빠르게 나타나지만 장기적으로는 성능이 열 劣하므로 상호작용 모델링의 중요성을 확인한다.
• 보정 모듈은 시간이 지남에 따라 예측 오차 누적을 크게 줄이며, 중간 관측을 사용할 경우 10단계 전개에서 오차가 최대 50% 감소한다.
• 시각화 결과 모델이 비그리디(비탐욕적)이고 충돌을 피하는 경로를 계획하는 것을 학습한 것으로 나타났으며, 예를 들어 한 개체를 다른 개체 주변으로 밀어내는 등의 행동을 수행한다. 이는 단순한 모델이 포착하지 못하는 행동이다.
• 실제 환경 실험에서 플로우 기반 기준 모델은 큰 운동을 예측하지 못하는 반면, 제안된 모델은 상호작용 모델링 덕분에 개체의 운동을 정확히 예측한다.
• CEM 기반 계획기에서는 반복 과정을 통해 최적의 경로로 수렴하며, 우월한 행동 시퀀스는 명확히 장애물을 피하고 목표에 도달하는 경로를 선택한다.