[논문 리뷰] Deep Predictive Learning: Motion Learning Concept inspired by Cognitive Robotics

Kanata Suzuki, Hiroshi Ito외 3명|arXiv (Cornell University)|2023. 06. 26.

Robot Manipulation and Learning인용 수 6

한 줄 요약

이 논문은 인지신경과학에 영감을 받은 로봇 공학 프레임워크인 딥 예측 학습(Deep Predictive Learning)을 제안한다. 이는 예측된 감각운동 결과와 실제 결과 간의 예측 오차를 최소화하여 로봇이 운동 제어를 학습하도록 한다. 예측 코딩과 실시간 오차 보정을 통합함으로써, 로봇은 빨래 접기, 매듭 묶기, 가방 풀기와 같은 학습되지 않은 작업으로 일반화할 수 있다. 이는 시각, 촉각, 주의 메커니즘을 포함한 엔드 투 엔드 학습을 통해 이루어지며, 환경 모델링을 명시적으로 제공하지 않아도 강건하고 적응 가능한 행동을 달성한다.

ABSTRACT

Bridging the gap between motion models and reality is crucial by using limited data to deploy robots in the real world. Deep learning is expected to be generalized to diverse situations while reducing feature design costs through end-to-end learning for environmental recognition and motion generation. However, data collection for model training is costly, and time and human resources are essential for robot trial-and-error with physical contact. We propose "Deep Predictive Learning," a motion learning concept that predicts the robot's sensorimotor dynamics, assuming imperfections in the prediction model. The predictive coding theory inspires this concept to solve the above problems. It is based on the fundamental strategy of predicting the near-future sensorimotor states of robots and online minimization of the prediction error between the real world and the model. Based on the acquired sensor information, the robot can adjust its behavior in real time, thereby tolerating the difference between the learning experience and reality. Additionally, the robot was expected to perform a wide range of tasks by combining the motion dynamics embedded in the model. This paper describes the proposed concept, its implementation, and examples of its applications in real robots. The code and documents are available at: https://ogata-lab.github.io/eipl-docs

연구 동기 및 목표

• 기존의 모델 기반 접근 방식이 완벽하지 않은 예측으로 실패하는 비정형적인 실생활 환경에서의 로봇 조작 문제를 해결하기 위해.
• 수동적 특징 엔지니어링과 광범위한 레이블이 부여된 데이터셋에 대한 의존도를 줄이기 위해, 감각운동 데이터로부터 엔드 투 엔드로 운동 정책을 학습할 수 있도록 하기 위해.
• 탄성 물체(예: 천, 줄자 등)를 포함한 로봇 조작 작업에서 오차 기반 예측 학습을 통해 일반화 능력과 적응 능력을 향상시키기 위해.
• 특히 자유 에너지 원리와 관련된 인지로봇 공학 원리와 실용적인 로봇 제어 시스템 간 격차를 메우기 위해.
• 예측 오차에 기반하여 실시간으로 예측 모델을 동적으로 전환함으로써, 작업 실행 중에 적응 가능한 반응을 가능하게 하기 위해.

제안 방법

• 이 방법은 자유 에너지 원리와 예측 코딩에 기반하며, 로봇이 미래에 대한 내부 모델과 실제 감각 피드백 간의 예측 오차를 최소화한다.
• 딥 네ural 네트워크가 다중 모odal 입력(이미지, 촉각 데이터, 체위 감지)을 처리하여 근접한 미래 상태를 예측하고, 이 오차를 줄이기 위한 운동을 생성한다.
• 시스템은 작업 실행 중에 주목할 만한 특징(예: 지퍼 위치, 물체 방향)에 집중하기 위해 주의 메커니즘을 사용하여, 다양한 조명 조건과 물체 구성에서도 강건성을 향상시킨다.
• 실시간 예측 오차에 기반하여 여러 예측 모델을 동적으로 전환함으로써, 예기치 않은 환경 변화에 대한 적응적 반응을 가능하게 한다.
• 운동 생성은 모델 내부의 학습된 동역학을 조합함으로써 이루어지며, 복잡한 작업의 계층적이고 통합된 제어를 가능하게 한다.
• 이 프레임워크는 언어 기반 설명(예: PDDL 유사 표현)을 운동 정책으로 변환할 수 있도록 지원하여 언어 조건 기반 작업 실행을 가능하게 한다.

실험 결과

연구 질문

• RQ1 로봇은 환경 모델링을 명시적으로 제공하지 않고도 탄성 물체를 포함한 복잡한 조작 작업을 어떻게 학습할 수 있는가?
• RQ2 로봇은 감각운동 데이터로부터 엔드 투 엔드로만 학습할 경우, 다양한 물체 형태와 구성에 대해 얼마나 잘 일반화할 수 있는가?
• RQ3 실시간 예측 오차 최소화가 물리적 로봇 상호작용에서 강건성과 적응 능력을 향상시키는가?
• RQ4 주의 메커니즘과 다중 감각 피드백을 통합함으로써 예측 정확도와 작업 성능는 어떻게 향상되는가?
• RQ5 인지신경과학에서 유래한 예측 코딩 원리가 확장 가능한 로봇 학습 프레임워크로 효과적으로 번역될 수 있는가?

주요 결과

• 로봇은 이미지와 운동 데이터만을 사용하여 다양한 수건을 접는 데 성공했으며, 명시적인 모델링 없이도 물체의 변형과 정렬 오류에 일반화하였다.
• 주의 메커니즘을 통해 핵심 특징(예: 지퍼 위치)에 집중함으로써, 다양한 색상과 형태의 천 가방을 안정적으로 풀 수 있었으며, 시각적 변동성과 조명 변화 상황에서도 성능이 향상되었다.
• 촉각 센서 데이터를 통합함으로써, 매듭 묶기 및 단추 걸기와 같은 복잡한 조작 작업에서 예측 정확도와 작업 성공률이 크게 향상되었다.
• 실시간 오차에 기반하여 예측 모델을 동적으로 전환함으로써, 예기치 않은 환경 변화에 효과적으로 대응하는 동적 적응 능력을 보였다.
• 단일 통합 모델 아키텍처를 사용하여 수건 접기, 매듭 묶기, 가방 풀기 등 다양한 작업에 대해 일반화를 달성하였다.
• 기능적 연결 차단과 활성화-억제 불균형을 통한 신경발달 장애 시뮬레이션은 행동 이상을 재현하여, 모델의 인지적 타당성을 검증하였다.