[논문 리뷰] Planning Robot Motion using Deep Visual Prediction

Meenakshi Sarkar, Prabhu Pradhan외 1명|arXiv (Cornell University)|2019. 06. 24.

Human Pose and Action Recognition참고 문헌 22인용 수 7

한 줄 요약

이 논문은 첫 번째 시각 로봇 시 perspectiv에서 원시 영상 프레임을 사용하여 미래의 로봇 동작을 예측하는 경량이며 비지도 학습 기반의 딥러닝 프레임워크인 PROM-Net을 제안한다. 다양한 조명 조건과 지형 조건을 포함하는 새로운 LEGO 기반 데이터셋으로 훈련된 PROM-Net은 실시간 동작 계획에 적합한 정확도로 10프레임 향후 예측을 달성하였으며, PSNR 및 SSIM 지표에서 완전히 연결된 LSTM 기반 베이스라인을 능가하였다. 이는 동적인 환경에서 시각 기반 모델 예측 제어를 가능하게 한다.

ABSTRACT

In this paper, we introduce a novel framework that can learn to make visual predictions about the motion of a robotic agent from raw video frames. Our proposed motion prediction network (PROM-Net) can learn in a completely unsupervised manner and efficiently predict up to 10 frames in the future. Moreover, unlike any other motion prediction models, it is lightweight and once trained it can be easily implemented on mobile platforms that have very limited computing capabilities. We have created a new robotic data set comprising LEGO Mindstorms moving along various trajectories in three different environments under different lighting conditions for testing and training the network. Finally, we introduce a framework that would use the predicted frames from the network as an input to a model predictive controller for motion planning in unknown dynamic environments with moving obstacles.

연구 동기 및 목표

• 알려지지 않은 동적인 환경에서 로봇 동작 계획을 위한 경량 비지도 시각 예측 프레임워크를 개발하기 위해.
• 훈련 및 평가를 위해 다양한 조명 조건과 지형 조건에서 LEGO Mindstorms를 촬영한 새로운 첫 번째 시각 로봇 영상 데이터셋을 구축하기 위해.
• 모델 예측 제어를 통해 예측된 영상 프레임을 행동 제어 정책으로 변환함으로써 모바일 플랫폼에서 실시간 동작 계획을 가능하게 하기 위해.
• 이동하는 장애물이 있는 고속 동적 상황에서 기존의 시각 기반 방법(예: 시각 서보)의 한계를 극복하기 위해.
• 사람의 감독 없이 원시 영상 데이터와 엔드 투 엔드 훈련만을 사용하여 학습하는 시스템을 설계하기 위해.

제안 방법

• PROM-Net은 잔차 연결을 갖춘 컨volutional 인코더-디코더 아키텍처를 사용하여 비지도 방식으로 10개의 입력 프레임에서 10개의 향후 영상 프레임을 예측한다.
• 예측의 시각적 품질 향상과 블러리 제거를 위해 픽셀 수준의 재구성 손실(L1/L2)과 적대적 손실을 사용하여 네트워크를 훈련한다.
• 4개의 다른 환경(실내 자연광, 실내 인공 조명, 실외 햇빛 비치는 포장도로, 동적 혼잡이 있는 황혼 무도로)에서 두 대의 LEGO Mindstorms 로봇을 사용하여 고유한 로봇 데이터셋을 수집하였다.
• 예측된 프레임을 모델 예측 제어기(MPC)에 통합하기 위해, 예측된 프레임에서 장애물에 가까워지는 것을 방지하는 보상 함수를 정의한다.
• RMSProp을 사용하여 훈련을 수행하며 배치 크기는 64, 고정 학습률은 0.001로 설정하여 저성능 플랫폼에서도 효율적인 구현을 가능하게 한다.
• 최소한의 아키텍처 수정으로 그레이스케일 및 RGB 입력을 모두 지원하여 실제 로봇 센서에 대한 적응성을 확보한다.

실험 결과

연구 질문

• RQ1 경량 비지도 딥러닝 모델이 원시 첫 번째 시각 영상 프레임에서 충분한 정확도로 미래의 로봇 동작을 예측하여 동작 계획에 활용할 수 있는가?
• RQ2 기본 LSTM 기반 베이스라인과 비교해 볼 때 PROM-Net은 미리 보지 못한 궤적과 환경 조건에 대해 얼마나 잘 일반화되는가?
• RQ3 PROM-Net에서 예측된 영상 프레임은 얼마나 효과적으로 동적이고 장애물이 많은 환경에서 모델 예측 제어기를 이끌 수 있는가?
• RQ4 환경의 다양성(조도, 지형, 그림자)이 실제 로봇 시나리오에서 시각적 동작 예측 성능에 어떤 영향을 미치는가?
• RQ5 장애물 접근도를 기반으로 한 보상 함수와 예측된 프레임만을 사용하여 시각 기반 MPC 시스템을 효과적으로 훈련시킬 수 있는가?

주요 결과

• PROM-Net은 시뮬레이션 및 실제 데이터 모두에서 완전히 연결된 LSTM 네트워크보다 뛰어난 성능을 보였으며, 모든 10개의 예측 프레임에서 더 높은 PSNR 및 SSIM 값을 기록하였다.
• 모델은 훈련 데이터에 존재하지 않은 시나리오에서도 우수한 일반화 성능를 보였으며, 그림 6에서 볼 수 있듯이 예측된 궤적을 성공적으로 예측하였다.
• 실제 ARM 데이터셋에서 PROM-Net은 10개의 예측 프레임 전반에 걸쳐 평균 SSIM이 0.75 이상을 유지하여 동작 예측의 높은 시각적 품질을 입증하였다.
• 회귀 손실로 인한 블러리가 일부 존재하지만, 예측된 프레임은 향후 물체의 운동 방향을 추론하는 데에 충분했으며, 이는 경로 계획에 있어 핵심적인 요소였다.
• 예측된 프레임을 모델 예측 제어기와 통합함으로써 효과적인 장애물 회피가 가능했으며, 보상 함수는 예측된 장애물 쪽으로 향하는 궤적을 성공적으로 방지하였다.
• 경량 아키텍처 덕분에 프레임워크는 모바일 플랫폼에 배포 가능하여 엣지 디바이스에서도 실시간 추론이 가능하다.