[논문 리뷰] Generating Goal-Directed Visuomotor Plans Based on Learning Using a Predictive Coding-type Deep Visuomotor Recurrent Neural Network Model

Minkyu Choi, Takazumi Matsumoto외 2명|arXiv (Cornell University)|2018. 03. 07.

Visual perception and processing mechanisms참고 문헌 17인용 수 5

한 줄 요약

이 논문은 훈련 중에 시각-자기 감각 시퀀스로부터 의도 상태를 추론함으로써 목표 지향적 시각운동 계획을 학습하는 예측 코딩 기반의 딥 시각운동 순환 신경망(P-DVMRNN)을 제안한다. 모델은 예측 오차를 최소화하여 학습되지 않은 목표 상태로 일반화되며, 실제 로봇 실험에서 다단계 계획을 성공적으로 생성한다. 다만 성능는 충분한 훈련 데이터에 크게 의존하며, 저해상도 시각 입력으로 인해 제한을 받는다.

ABSTRACT

The current paper presents how a predictive coding type deep recurrent neural networks can generate vision-based goal-directed plans based on prior learning experience by examining experiment results using a real arm robot. The proposed deep recurrent neural network learns to predict visuo-proprioceptive sequences by extracting an adequate predictive model from various visuomotor experiences related to object-directed behaviors. The predictive model was developed in terms of mapping from intention state space to expected visuo-proprioceptive sequences space through iterative learning. Our arm robot experiments adopted with three different tasks with different levels of difficulty showed that the error minimization principle in the predictive coding framework applied to inference of the optimal intention states for given goal states can generate goal-directed plans even for unlearned goal states with generalization. It was, however, shown that sufficient generalization requires relatively large number of learning trajectories. The paper discusses possible countermeasure to overcome this problem.

연구 동기 및 목표

• 예측 코딩 원리를 활용하여 목표 지향적 시각운동 계획을 위한 학습 가능하고 종단간(end-to-end) 딥 신경망을 개발하는 것.
• 학습되지 않은 목표 상태에 대해서도 원하는 감각적 결과를 생성하는 의도 상태를 로봇이 추론할 수 있도록 하는 것.
• 훈련 데이터 양이 시각운동 계획의 일반화 성능에 미치는 영향을 조사하는 것.
• 추론된 의도 상태에서 장기적인 시각운동 감각 시퀀스를 생성할 수 있는 모델의 능력을 평가하는 것.

제안 방법

• P-DVMRNN 모델은 예측 오차 최소화를 통해 의도 상태(내부 신경 상태)에서 시각운동 감각 시퀀스로의 인과적 맵핑을 학습하는 딥 순환 아키텍처를 사용한다.
• 의도 상태는 훈련 중에 자율적으로 결정되며 RNN의 초기 은닉 상태로 인코딩되어 목표 지향적 행동의 내부 표현을 추론할 수 있도록 한다.
• 모델은 다양한 작업에서의 다중 로봇 경로에서의 픽셀 수준의 시각과 관절 각도의 동기화된 시퀀스를 오프라인으로 훈련한다.
• 계획을 위한 추론은 학습된 맵핑을 뒤집는 방식이다: 예를 들어 목표 시각 프레임과 같은 목표 상태가 주어지면, 이를 생성할 수 있는 의도 상태를 추론한다.
• 오차 최소화 프레임워크를 사용하여 반복적으로 의도 상태 추정치를 개선함으로써, 예측 코딩을 통한 목표 지향적 계획을 가능하게 한다.
• 일단 단계 및 다단계 예측은 피드백이 있는(클로즈드 루프) 및 없는(오픈 루프) 설정에서 평가되어 계획 정확도를 분석한다.

실험 결과

연구 질문

• RQ1 예측 코딩 기반의 딥 RNN은 학습되지 않은 목표 상태에서 원하는 시각운동 감각 결과를 생성하는 의도 상태를 추론할 수 있는가?
• RQ2 훈련 데이터의 양이 시각운동 계획에서의 일반화 능력에 어떤 영향을 미치는가?
• RQ3 실시간 피드백이 없는 조건에서 모델이 정확한 다단계 예측을 얼마나 잘 생성할 수 있는가?
• RQ4 이미지 해상도와 감각의 정밀도가 복잡한 조작 작업(예: 물체 抓취)의 성공에 어떤 영향을 미치는가?
• RQ5 정밀한 공간 제어가 필요한 작업들까지 포함하여 다양한 난이도의 작업 간에 모델이 일반화할 수 있는가?

주요 결과

• P-DVMRNN은 학습되지 않은 목표 상태에 대해 예측 오차 최소화를 통한 의도 상태 추론을 통해 목표 지향적 시각운동 계획을 성공적으로 생성하였으며, 작업 간 일반화를 보였다.
• 첫 번째 작업(도달)에서 모델은 목표 상태에 도달하는 데 75%의 성공률을 기록했으며, 훈련 데이터가 감소함에 따라 성능이 크게 떨어졌다.
• 물체 조작 작업에서는 엄격한 抓취 조건에서 성공률이 48%였고, 3픽셀(3.9cm) 이내의 허용 오차를 허용하면 71%로 향상되었다.
• 피드백이 없는 오픈 루프 예측은 피드백이 있는 클로즈드 루프 예측보다 유의미하게 뛰어나 3픽셀의 허용 오차를 허용한 경우 93%의 성공률를 기록한 반면, 클로즈드 루프에서는 71%였다.
• 모델는 시각 및 운동 모odalities 모두에 대해 먼 미래 예측(다단계 예측)을 강력하게 생성하는 능력을 보였으며, 내부 계획 능력이 뛰어나다는 것을 시사했다.
• 연구에서 훈련 데이터가 부족할 경우 일반화 능력이 심각하게 제한됨을 밝혀내었으며, 데이터 효율성을 향상시키기 위해 변분 베이즈 정규화를 잠재적 해결책으로 제안했다.