[논문 리뷰] Self-Supervised Visual Planning with Temporal Skip Connections

Frederik Ebert, Chelsea Finn외 2명|arXiv (Cornell University)|2017. 10. 15.

Robot Manipulation and Learning참고 문헌 20인용 수 113

한 줄 요약

이 논문은 시간적 스킵 연결과 차단 인식 비디오 예측 모델(SNA)과 시각적 MPC를 위한 거리 기반 계획 목표를 도입하여 차단을 통한 계획 및 다중 물체를 처리하는 혼합 연속-비연속 행동 공간을 가능하게 한다.

ABSTRACT

In order to autonomously learn wide repertoires of complex skills, robots must be able to learn from their own autonomously collected data, without human supervision. One learning signal that is always available for autonomously collected data is prediction: if a robot can learn to predict the future, it can use this predictive model to take actions to produce desired outcomes, such as moving an object to a particular location. However, in complex open-world scenarios, designing a representation for prediction is difficult. In this work, we instead aim to enable self-supervised robotic learning through direct video prediction: instead of attempting to design a good representation, we directly predict what the robot will see next, and then use this model to achieve desired goals. A key challenge in video prediction for robotic manipulation is handling complex spatial arrangements such as occlusions. To that end, we introduce a video prediction model that can keep track of objects through occlusion by incorporating temporal skip-connections. Together with a novel planning criterion and action space formulation, we demonstrate that this model substantially outperforms prior work on video prediction-based control. Our results show manipulation of objects not seen during training, handling multiple objects, and pushing objects around obstructions. These results represent a significant advance in the range and complexity of skills that can be performed entirely with self-supervised robotic learning.

연구 동기 및 목표

• 비디오 예측을 통해 자율적으로 수집된 데이터로부터 자기감독 로봇 학습을 촉진한다.
• 차단 동안 물체의 지속성을 보존하는 차단 인지 예측 모델을 개발한다.
• 픽셀 위치에 대한 부드러운 거리 기반 비용을 사용하여 시각 기반 제어를 위한 계획을 개선한다.
• 모형 예측 제어 프레임워크에서 이산적 및 연속적 행동 모두로 계획을 가능하게 한다.

제안 방법

• 시간적 스킵 연결을 갖도록 DNA를 확장한 Skip Connection Neural Advection(SNA) 모델을 제안하여 차단을 통과할 때 물체의 영속성을 유지한다.
• 학습된 마스크로 여러 변환된 과거 이미지를 합성하여 다음 프레임을 예측하고, 과거에서 복사함으로써 차단을 처리한다.
• 예상 픽셀 위치와 목표 간의 기대 유클리드 거리를 T 길이의 시계열에서 최소화하는 거리 기반 계획 목표를 사용한다.
• 연속적 엔드 이펙터 모션과 이산적 리프트 동작을 결합한 하이브리드 행동 공간을 갖는 샘플링 기반 모델 예측 제어(CEM)를 채택한다.
• 행동을 수평 방향 운동과 이산적 리프트 레벨을 포함하는 벡터로 표현하고, 최적화를 위해 가장 가까운 이산 단계로 반올림한다.
• 외부 감독 없이 임의로 수집된 밀기 궤적으로 비디오 예측 모델을 학습한다.

실험 결과

연구 질문

• RQ1 조작 중 차단을 지나도록 지정된 픽셀을 추적할 수 있는 차단 인지 비디오 예측 모델이 존재하는가?
• RQ2 가림 하에서 장기 시각 MPC 성능을 개선하는 거리 기반 계획 목표가 있는가?
• RQ3 테이블탑 조작을 위한 샘플링 기반 MPC에 연속적 + 이산적 리프트의 하이브리드 행동 공간을 효과적으로 통합할 수 있는가?
• RQ4 제안된 SNA 모델은 차단이 많은 작업과 미지의 물체에서 이전 DNA 기반 접근법과 어떻게 비교되는가?

주요 결과

• SNA 모델은 차단이 많은 작업에서 이전 DNA 기반 방법에 비해 계획 성능을 크게 향상시킨다.
• 예상 거리 비용을 사용한 예측 픽셀 위치는 이전의 확률 기반 비용보다 장기 계획에 더 나은 성능을 보인다.
• 하이브리드 행동 공간은 엔드 이펙터를 들어 올려 장애물을 넘게 하여 더 자연하고 짧은 궤적을 만든다.
• SNA는 차단된 물체에 대한 예측 품질을 유지하여 미지의 물체와 다중 물체에서 성공적인 계획을 가능하게 한다.
• 실험은 차단 및 다물체 구성에서 자기감독 비디오 예측이 제어를 안내하는 밀기 작업을 보여준다.
• 새로운 계획 비용이 적용된 SNA는 보이는 물체와 보이지 않는 물체 모두에서 기존 방법과 비교해 경쟁력 있거나 우수한 성능을 보인다.