[논문 리뷰] Pushing Fast and Slow: Task-Adaptive Planning for Non-prehensile Manipulation Under Uncertainty

Wisdom C. Agboh, Mehmet R. Doğar|arXiv (Cornell University)|2018. 05. 08.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 작업 정확도 요구사항과 불확실성에 따라 동적으로 빠른 푸시 동작과 느린 푸시 동작을 선택하는 비抓握 조작을 위한 작업 적응형 계획 및 제어 프레임워크를 제안한다. 문제를 동작에 의존하는 확률적 MDP로 모델링하고, 동작 선택을 안내하기 위해 궤적 최적화기를 사용함으로써, 특히 저정확도 작업에서 표준 MPC보다 훨씬 적은 시간에 더 높은 성공률을 달성한다.

ABSTRACT

We propose a planning and control approach to physics-based manipulation. The key feature of the algorithm is that it can adapt to the accuracy requirements of a task, by slowing down and generating `careful' motion when the task requires high accuracy, and by speeding up and moving fast when the task tolerates inaccuracy. We formulate the problem as an MDP with action-dependent stochasticity and propose an approximate online solution to it. We use a trajectory optimizer with a deterministic model to suggest promising actions to the MDP, to reduce computation time spent on evaluating different actions. We conducted experiments in simulation and on a real robotic system. Our results show that with a task-adaptive planning and control approach, a robot can choose fast or slow actions depending on the task accuracy and uncertainty level. The robot makes these decisions online and is able to maintain high success rates while completing manipulation tasks as fast as possible.

연구 동기 및 목표

• 기존 비抓握 조작 방법이 오직 느린, 준정적 푸시에 의존하여 불확실성에 관察能력이 있는 작업에서는 비효율적이라는 한계를 해결한다.
• 작업에 맞는 정확도 요구사항에 따라 자율적으로 빠른 고불확실성 동작과 느린 정밀 동작을 선택할 수 있도록 한다.
• 동작에 의존하는 불확실성을 가진 확률적 MDP에 대해 실시간으로 속도와 정확도를 균형 잡는 온라인 근사 솔루션을 개발한다.
• 물리 기반 예측의 높은 비용을 감안할 때, 확률적 평가 이전에 유망한 동작를 사전에 선별하기 위해 결정론적 궤적 최적화기를 사용하여 동작 평가의 계산 비용을 감소시킨다.
• 시뮬레이션과 실제 로봇에서의 검증을 통해 고정확도 및 저정확도 작업 모두에서 표준 MPC보다 뛰어난 성능을 보여준다.

제안 방법

• 다른 푸시 속도가 다른 수준의 불확실성을 유도하므로, 동작에 의존하는 확률적 비결정성과 함께 비抓握 조작 문제를 마코프 결정 과정(MDP)으로 공식화한다.
• 결정론적 물리 모델을 사용하는 궤적 최적화기를 통해 각 상태에서 유망한 동작의 축소된 집합을 생성함으로써 평가해야 할 동작 수를 크게 줄인다.
• 불확실성의 확률적 모델을 사용하여 확률적 동역학 하에서 선택된 동작를 평가함으로써 기대 비용과 성공 확률을 추정한다.
• 전역 최적 정책을 사전 계산하지 않고도 실시간 의사결정을 가능하게 하기 위해 온라인 근사 정책 갱신을 구현한다.
• 실행 중 피드백 보정을 가능하게 하기 위해 계획기와 피드백 루프 제어기를 통합함으로써 간섭과 모델 정확도 부족에 대한 강건성을 향상시킨다.
• 불확실성 인식 동작 선택과 함께 모델 예측 제어(MPC) 원리를 활용하여 다양한 작업 정확도 수준에서 높은 성공률을 유지한다.

실험 결과

연구 질문

• RQ1 로봇은 작업 정확도 요구사항과 불확실성 수준에 따라 빠른 푸시 동작과 느린 푸시 동작을 동적으로 전환할 수 있는가?
• RQ2 동작에 의존하는 불확실성은 비抓握 조작의 성능에 어떤 영향을 미치며, 이를 MDP 프레임워크 내에서 효과적으로 모델링할 수 있는가?
• RQ3 궤적 최적화기가 확률적 MDP에서 동작 샘플링을 안내함으로써 계산 비용을 줄이면서도 높은 성공률을 유지할 수 있는가?
• RQ4 작업 적응형 계획기는 고정확도 및 저정확도 작업 모두에서 표준 MPC(단지 느린 동작을 사용)보다 속도와 성공률 측면에서 뛰어나게 성능을 발휘하는가?
• RQ5 제안된 방법은 실제 로봇 시스템에 성공적으로 구현되어 고정확도 및 저정확도 조작 작업 모두에서 효과적으로 작동하는가?

주요 결과

• 저정확도 작업을 위해 단일 빠른 푸시로 2초 이내에 완료한 작업 적응형 제어기는 표준 MPC가 20개 이상의 동작과 20초 이상 소요된 반면, 빠른 푸시를 사용함으로써 빠른 성능을 달성했다.
• 고정확도 작업에서는 표준 MPC가 과도한 불확실성으로 인해 물체가 가장자리에서 떨어지게 되어 목표에 도달하지 못했지만, 작업 적응형 제어기는 느리고 정밀한 푸시를 사용하여 성공적으로 작업을 완료했다.
• 빠른 속도가 우선시되는 저정확도 시나리오에서 표준 MPC보다 더 높은 성공률을 달성했다.
• 궤적 최적화기의 통합으로 상태당 평가해야 할 동작 수가 감소하여, 물리 기반 예측의 높은 비용에도 불구하고 실시간 성능을 달성할 수 있었다.
• 실제 로봇 시스템에서 제어기는 다양한 정확도 요구사항에 적응하여 물리 환경에서 강건성과 효율성을 입증했다.
• 작업 제약 조건에 따라 동작 속도와 정밀도를 균형 잡음으로써 다양한 불확실성 수준에서도 높은 성공률을 유지했다.