[논문 리뷰] Self-learning and adaptation in a sensorimotor framework

Ali Ghadirzadeh, Judith Bütepage외 2명|arXiv (Cornell University)|2016. 01. 05.

Gaussian Processes and Bayesian Inference참고 문헌 15인용 수 4

한 줄 요약

이 논문은 고차원의 감각운동 공간에서 차원 축소를 위한 자동 관련성 결정(ARD)을 갖춘 가우시안 프로세스를 사용하여 로봇이 자율적으로 운동 명령을 학습하고 적응할 수 있도록 하는 자기학습 감각운동 프레임워크를 제안한다. 장기적 계획을 위한 RRT*와 실시간 동작 선택을 위한 기울기 기반 최적화를 조합함으로써, 시스템은 12초 이내의 빠른 데이터 효율성 학습과 환경 변화(예: 추가 하중)에 대한 빠른 적응을 달성하며, 고차원 관절 공간 제어에서 실시간 성능을 보여준다.

ABSTRACT

We present a general framework to autonomously achieve a task, where autonomy is acquired by learning sensorimotor patterns of a robot, while it is interacting with its environment. To accomplish the task, using the learned sensorimotor contingencies, our approach predicts a sequence of actions that will lead to the desirable observations. Gaussian processes (GP) with automatic relevance determination is used to learn the sensorimotor mapping. In this way, relevant sensory and motor components can be systematically found in high-dimensional sensory and motor spaces. We propose an incremental GP learning strategy, which discerns between situations, when an update or an adaptation must be implemented. RRT* is exploited to enable long-term planning and generating a sequence of states that lead to a given goal; while a gradient-based search finds the optimum action to steer to a neighbouring state in a single time step. Our experimental results prove the successfulness of the proposed framework to learn a joint space controller with high data dimensions (10$ imes$15). It demonstrates short training phase (less than 12 seconds), real-time performance and rapid adaptations capabilities.

연구 동기 및 목표

• 사전 전문 지식이나 로봇 모델 가정 없이 자율적인 감각운동 작업 학습을 가능하게 하기 위해.
• 불확실성과 동적인 환경 변화 하에서 고차원 감각 및 운동 공간의 과제를 해결하기 위해.
• 외부 교란(예: 하중 또는 작업 조건 변화)을 감지하고 적응할 수 있는 시스템 개발을 위해.
• 제약 조건이 있으며 비볼록인 제어 과제에 대해 장기적 계획과 실시간 동작 최적화를 통합하기 위해.
• 자기학습을 통해 데이터 효율적이고 점진적인 학습을 달성하면서도 관련 있는 감각 및 운동 차원을 자동으로 식별하기 위해.

제안 방법

• 고차원 공간에서 입력 차원의 관련성을 식별하고 전방 감각운동 매핑을 학습하기 위해 자동 관련성 결정(ARD)을 갖춘 가우시안 프로세스를 사용한다.
• 예측 오차 기반으로 모델 업데이트와 시스템 적응을 구분하는 점진적 학습 전략을 적용한다.
• 과도한 반복을 방지하고 작업 제약 조건을 충족시키기 위해 목표 기반 샘플링을 적용한 RRT*를 사용하여 동작 시퀀스를 생성한다.
• 각 시간 단계에서 이웃 상태로 전이하기 위한 최적의 동작을 계산하기 위해 기울기 기반 최적화를 사용한다.
• 예측된 감각 결과(예: 관절 위치)와 실제 결과 간의 불일치를 감지하여 예측 오차가 임계값을 초과할 경우 적응을 유도한다.
• 조건 변화 하에서 수집된 새로운 측정값으로 오래된 훈련 데이터 쌍을 교체하여 빠른 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 로봇이 사전 모델이나 전문가 시범 없이 감각운동 피드백만으로 최적의 운동 명령을 자율적으로 학습할 수 있는가?
• RQ2 작업 실행 중 환경 변화(예: 추가 하중)를 감지하고 적응할 수 있는 시스템은 어떻게 설계할 수 있는가?
• RQ3 RRT* 계획이 고차원 제어 과제에서 과도한 반복을 최소화함으로써 궤적 품질을 얼마나 향상시킬 수 있는가?
• RQ4 자동 관련성 결정이 관련 있는 감각 및 운동 성분을 식별함으로써 계산 비용을 얼마나 줄일 수 있는가?
• RQ5 이 프레임워크는 복잡하고 동적인 환경에서 실시간 성능 유지를 하고 신속한 수렴을 달성할 수 있는가?

주요 결과

• 10×15 차원의 작업 공간에서 프레임워크는 12초 이내로 관절 공간 제어기를 성공적으로 학습하였다.
• 시스템은 로봇의 집게에 300g의 하중이 추가된 경우와 같은 외부 교란에 대해 실시간 성능을 유지를 하며 신속히 적응하였다.
• 차원 축소를 통해 과도한 반복이 감소하고 목표 상태에 안정적으로 도달하였으며, 그림 6(좌측)에서 볼 수 있듯이 약 32초 후에 계획이 시작되었다.
• 예측 오차가 임계값을 초과함으로써 적응이 유도되었으며, 이로 인해 몇 차례 반복 내에 적용 토크의 불일치를 감지하고 수정할 수 있었다.
• RRT* 계획은 목표에 가까운 샘플을 선호하고 비용을 최소화함으로써 과도한 반복을 피하는 동작 시퀀스를 성공적으로 생성하였다. 그림 7에서 이를 확인할 수 있다.
• 이 방법은 변화된 조건 하에서 오래된 훈련 데이터를 새로운 측정값으로 교체함으로써 변화를 능동적으로 감지하고, 동적인 환경에 대한 강건성을 확보하였다.