[논문 리뷰] Estimating Mass Distribution of Articulated Objects using Non-prehensile Manipulation

K. Niranjan Kumar, Irfan Essa외 2명|arXiv (Cornell University)|2019. 07. 09.

Robot Manipulation and Learning참고 문헌 42인용 수 13

한 줄 요약

이 논문은 2차원 체인과 같은 관절 연결 물체의 질량 분포를 비抓거성 밀치기로 추정할 수 있도록 하는 강화학습 및 지도학습 프레임워크를 제안한다. 시뮬레이션에서 전략적 상호작용 정책과 질량 분포 예측기를 학습함으로써, 실제 2링크 체인에서 81.4%의 분류 정확도를 달성하였으며, 무작위 밀치기(40.74%)보다 뚜렷이 뛰어나다.

ABSTRACT

We explore the problem of estimating the mass distribution of an articulated object by an interactive robotic agent. Our method predicts the mass distribution of an object by using the limited sensing and actuating capabilities of a robotic agent that is interacting with the object. We are inspired by the role of exploratory play in human infants. We take the combined approach of supervised and reinforcement learning to train an agent that learns to strategically interact with the object to estimate the object's mass distribution. Our method consists of two neural networks: (i) the policy network which decides how to interact with the object, and (ii) the predictor network that estimates the mass distribution given a history of observations and interactions. Using our method, we train a robotic arm to estimate the mass distribution of an object with moving parts (e.g. an articulated rigid body system) by pushing it on a surface with unknown friction properties. We also demonstrate how our training from simulations can be transferred to real hardware using a small amount of real-world data for fine-tuning. We use a UR10 robot to interact with 3D printed articulated chains with varying mass distributions and show that our method significantly outperforms the baseline system that uses random pushes to interact with the object.

연구 동기 및 목표

• 로봇 에이전트가 잡지 않고 물리적 상호작용을 통해 관절 연결 물체의 질량 분포를 추론할 수 있도록 하는 것.
• 질량 분포에 대한 정보 수득을 극대화하기 위해 정보성 있는 밀치기 동작을 선택하는 정책을 개발하는 것.
• 상호작용 트레이제터리에서 질량 분포를 추정하기 위해 시뮬레이션 데이터를 사용해 예측 네트워크를 훈련하는 것.
• 최소한의 실제 세계 피드백을 통해 시뮬레이션에서 학습된 모델을 실제 로봇 하드웨어에 전이할 수 있도록 하는 것.
• 전략적 상호작용이 관절 연결 시스템의 물리적 성질 추정에서 무작위 밀치기보다 뛰어나다는 것을 입증하는 것.

제안 방법

• 이 방법은 밀치기 동작을 선택하는 정책 네트워크와 질량 분포를 추정하는 예측 네트워크로 구성된 이중 신경망 아키텍처를 사용한다.
• 정책 네트워크는 각 밀치기에서의 정보 수득을 극대화하기 위해 강화학습을 통해 훈련된다.
• 예측 네트워크는 알려진 질량 분포를 가진 시뮬레이션 상태-행동 트레이제터리에서 지도학습을 통해 훈련된다.
• 예측기 훈련과 정책 개선을 번갈아가며 메타 최적화 루프를 수행한다.
• 시뮬레이션은 2D 및 3D 관절 연결 체인을 대상으로 PyBullet에서 수행되며, 질량 분포와 마찰 계수를 다양하게 설정한다.
• 실제 세계로의 전이를 위해, UR10 로봇을 사용해 150개의 실제 상호작용 에피소드로 시뮬레이션에서 학습된 모델을 피드백 조정한다.

실험 결과

연구 질문

• RQ1 로봇은 단지 비抓거성 밀치기만으로 관절 연결 물체의 질량 분포를 학습할 수 있는가?
• RQ2 학습된 상호작용 정책은 무작위 밀치기보다 질량 추정 정확도를 뚜렷이 향상시키는가?
• RQ3 최소한의 실제 세계 데이터로 시뮬레이션에서 학습된 모델을 실제 로봇 하드웨어로 전이할 수 있는 정도는 어느 정도인가?
• RQ4 밀치기 위치와 힘의 선택이 개별 링크 질량 추론 능력에 어떻게 영향을 미치는가?
• RQ5 유사한 기하학적 구조를 가진 다양한 관절 연결 물체 유형 간에 시스템이 일반화 가능한가?

주요 결과

• 제안된 방법은 실제 2링크 체인에서 81.4%의 분류 정확도를 달성하였으며, 무작위 정책 기준 40.74%보다 뛰어나다.
• 학습된 정책은 항상 공동 운동을 유도하는 밀치기를 지속적으로 선택함으로써 개별 링크 질량의 분리가 용이해지도록 한다.
• 실제 세계 150개의 에피소드로 피드백 조정을 통해 시뮬레이션에서 학습된 모델이 실제 하드웨어로 성공적으로 전이되었다.
• 다양한 질량 분포와 마찰 계수를 가진 시뮬레이션 데이터로 훈련된 예측 네트워크는 새로운 구성에 대해 일반화 성능을 보였다.
• 모든 밀치기가 동일하게 정보가 많지 않음을 입증하였으며, 전략적인 행동이 훨씬 뛰어난 추론 성능을 제공함을 확인했다.
• 정책은 추정 정확도를 떨어뜨리는 큰 비제어 운동이나 관절 锁정을 유도하는 방식의 밀치기를 피하도록 학습하였다.