[논문 리뷰] Learning to Poke by Poking: Experiential Learning of Intuitive Physics

Pulkit Agrawal, Ashvin Nair외 3명|arXiv (Cornell University)|2016. 06. 23.

Robot Manipulation and Learning참고 문헌 31인용 수 130

한 줄 요약

이 논문은 원시 이미지로부터의 자체 감독 툭치 데이터로부터 동역학의 공동 forward–inverse 모델을 학습하여 로봇이 목표 구성에 도달하기 위해 객체의 운동을 예측하고 계획할 수 있게 한다. 추상적인 물리 표현을 학습함으로써 베이스라인 대비 일반화 및 계획 능력이 향상되었음을 보인다.

ABSTRACT

We investigate an experiential learning paradigm for acquiring an internal model of intuitive physics. Our model is evaluated on a real-world robotic manipulation task that requires displacing objects to target locations by poking. The robot gathered over 400 hours of experience by executing more than 100K pokes on different objects. We propose a novel approach based on deep neural networks for modeling the dynamics of robot's interactions directly from images, by jointly estimating forward and inverse models of dynamics. The inverse model objective provides supervision to construct informative visual features, which the forward model can then predict and in turn regularize the feature space for the inverse model. The interplay between these two objectives creates useful, accurate models that can then be used for multi-step decision making. This formulation has the additional benefit that it is possible to learn forward models in an abstract feature space and thus alleviate the need of predicting pixels. Our experiments show that this joint modeling approach outperforms alternative methods.

연구 동기 및 목표

• 로봇이 스스로 생성한 상호작용 데이터로 내부의 직관적 물리 모델을 학습할 수 있는지 조사한다.
• 이미지에서 파생된 학습된 추상 특징 공간에서 작동하는 공동 forward 및 inverse 동역학 모델을 개발한다.
• 학습된 모델을 사용하여 목표 구성을 향해 물체를 밀고 재배열하기 위한 다단계 계획을 가능하게 한다.
• 이질적인 물체 형상과 질감에 대한 일반화 및 산만 물체가 있는 시나리오에 대한 일반화를 입증한다.

제안 방법

• Baxter 로봇을 사용하여 16개의 물체에 대해 실제 세계의 툭치 데이터 400시간 이상(>100K pokes) 수집.
• 전/후 이미지를 잠재 특징으로 매핑하는 시암 이중 CNN(Siamese CNN)을 학습한 다음, 툭치 파라미터(위치, 각도, 길이)를 예측하는 역모델(inverse model)을 학습한다.
• 동시에 현재 특징과 동작을 주었을 때 다음 특징을 예측하는 forward 모델을 학습한다.
• 다중모드(multimodality)를 다루기 위해 툭치 출력 값을 이산화하고, 특징 공간에서 역교차 엔트로피(inverse cross-entropy)와 순방향 L1 손실을 결합한 공동 손실을 사용한다.
• 목표 이미지로 물체를 이동시키기 위해 툭치를 반복적으로 예측하고 실행하는 탐욕적 플래너로 평가하고, blob-baseline 모델과 비교한다.
• 2-D 직사각형으로 시뮬레이션하여 forward 모델이 inverse 모델을 규제하는지 보이고, 실제 로봇 작업과 새로운 물체에 대한 일반화를 테스트한다.

실험 결과

연구 질문

• RQ1 로봇이 스스로 생성한 상호작용 데이터로 내부의 직관적 물리 모델을 학습할 수 있는지 조사한다.
• RQ2 forward 및 inverse 동역학의 공동 학습이 역모델만 학습하는 경우나 blob 베이스라인 대비 예측 특징 품질과 계획 성능을 개선하는가?
• RQ3 학습된 모형이 보지 못한 물체 기하학/질감 및 긴 거리 계획이 필요한 작업에 얼마나 잘 일반화되는가?
• RQ4 데이터가 적은 데이터-빈(regimes)에서 forward-모형 정규화의 역할은 무엇인가?

주요 결과

• 공동 forward–inverse 동역학 학습이 베이스라인 대비 물체 위치 정확도와 계획 품질을 향상시킨다.
• 모형이 새로운 기하학과 질감을 가진 물체 및 산만 요소가 있는 작업으로 일반화되며 단일 툭치 학습 통계보다 우수하다.
• forward 모델 정규화는 특히 제한된 학습 데이터에서 역 특징 공간을 규제하고 더 긴 거리의 밀기 작업에서 일반화를 향상시킨다.
• 시뮬레이션 연구에서 학습 데이터가 부족한(10K–20K) 상황에서 공동 모형이 역 모델보다 우수하며 100K 데이터에 이르면 역 성능에 근접한다.
• blob 기반 베이스라인에 비해 역 모델과 공동 모형 모두 물체 기하를 더 잘 포착하여 밀기 작업에 유리하다.