[논문 리뷰] Sequential Learning of Movement Prediction in Dynamic Environments using LSTM Autoencoder

Meenakshi Sarkar, Debasish Ghose|arXiv (Cornell University)|2018. 10. 12.

Human Pose and Action Recognition참고 문헌 7인용 수 5

한 줄 요약

이 논문은 동적 로봇 환경에서 입력 프레임을 저차원 특징으로 인코딩하고 향후 상태를 재구성함으로써 미래 비디오 프레임을 예측하는 상태 및 액션 조건부 LSTM 오토인코더를 제안한다. 모델은 단지 5,000개의 훈련 시퀀스만을 사용하여 정확한 5프레임 향후 예측을 달성하여, 이동 장애물이 있는 강화학습 기반 항법에의 응용 잠재력을 보여준다.

ABSTRACT

Predicting movement of objects while the action of learning agent interacts with the dynamics of the scene still remains a key challenge in robotics. We propose a multi-layer Long Short Term Memory (LSTM) autoendocer network that predicts future frames for a robot navigating in a dynamic environment with moving obstacles. The autoencoder network is composed of a state and action conditioned decoder network that reconstructs the future frames of video, conditioned on the action taken by the agent. The input image frames are first transformed into low dimensional feature vectors with a pre-trained encoder network and then reconstructed with the LSTM autoencoder network to generate the future frames. A virtual environment, based on the OpenAi-Gym framework for robotics, is used to gather training data and test the proposed network. The initial experiments show promising results indicating that these predicted frames can be used by an appropriate reinforcement learning framework in future to navigate around dynamic obstacles.

연구 동기 및 목표

• 로봇 행동이 시나리오 역학에 영향을 미치는 동적 환경에서 물체 운동을 예측하는 도전 과제를 해결한다.
• 수동으로 레이블링된 데이터에 의존하지 않고 다양한 궤적에 일반화되는 비지도 학습 프레임워크를 개발한다.
• 에이전트 행동에 조건화된 예측을 통해 미지의 지형에서 실시간 경로 계획을 지원할 수 있도록 향후 프레임 예측을 가능하게 한다.
• 픽셀 단위의 역학이 아닌 고차원 공간적 특징에 집중하여 계산 효율성을 향상시킨다.
• ROS-Gazebo와 OpenAI-Gym을 사용한 시뮬레이션 로봇 환경에서 모델의 예측 능력을 검증한다.

제안 방법

• 입력 이미지 시퀀스를 저차원 특징 벡터로 변환하기 위해 사전 훈련된 인코더 네트워크를 사용한다.
• 다중층 LSTM 오토인코더를 사용하여 특징 시퀀스를 처리하며, 인코더-디코더 아키텍처를 취한다.
• 디코더를 에이전트의 행동과 인코딩된 상태에 조건화하여 향후 프레임을 예측한다.
• 예측된 특징 벡터를 사전 훈련된 디코더 네트워크를 통해 재구성하여 픽셀 수준의 비디오 프레임을 생성한다.
• 재구성 오차를 최소화하기 위해 평균 제곱오차 손실 함수를 사용하여 네트워크를 최적화한다.
• 기울기 흐름을 향상시키고 희소 데이터에서 특징 학습을 개선하기 위해 이미지 반전(I(i,j) = 255 - I(i,j))을 적용한다.

실험 결과

연구 질문

• RQ1 LSTM 오토인코더는 동적 로봇 환경에서 비정형적이고 레이블이 없는 데이터로부터 비디오 시퀀스의 시간적 규칙성을 학습할 수 있는가?
• RQ2 행동 및 상태 조건부 디코딩은 표준 오토인코더에 비해 향후 프레임 예측 정확도를 얼마나 효과적으로 향상시키는가?
• RQ3 이미지 반전은 희소한 시각적 데이터에서 신호가 약한 상황에서 학습을 얼마나 향상시키는가?
• RQ4 단지 5,000개의 훈련 시퀀스만을 사용하여도 다양한 궤적과 목표 상태에 대해 일반화할 수 있는가?
• RQ5 예측된 프레임은 강화학습 프레임워크에서 경로 계획을 효과적으로 안내하는 데 사용될 수 있는가?

주요 결과

• 이미지 반전을 적용한 후 모델은 입력 이미지 시퀀스를 성공적으로 재구성하였으며, 반전되지 않은 입력에 비해 공간적 특징 복구가 크게 향상되었다.
• 이미지 반전은 희소 데이터에서 기울기 소실 문제를 해결하여 안정적인 훈련과 더 나은 표현 학습을 가능하게 하였다.
• 단지 5,000개의 시퀀스(각각 5프레임의 1,000개 시퀀스) 훈련만으로도 모델이 최대 5프레임의 향후 프레임을 합리적인 정확도로 예측할 수 있었다.
• 예측된 프레임은 일관된 운동 패턴을 보이며, 시퀀스 내 시간 단계에 걸쳐 로봇의 궤적이 명확하게 드러났다.
• 사전 훈련된 인코더와 디코더를 사용함으로써 픽셀 수준의 종단 간 모델링에 비해 계산 비용을 줄이고 훈련 효율성을 향상시켰다.
• 행동 조건부 디코더는 맥락 인식 예측을 가능하게 하여, 에이전트 행동이 향후 시나리오 변화에 미치는 영향을 포착할 수 있었다.