[논문 리뷰] Motion Switching with Sensory and Instruction Signals by designing Dynamical Systems using Deep Neural Network

Kanata Suzuki, Hiroki MORI외 1명|arXiv (Cornell University)|2017. 12. 14.

Robot Manipulation and Learning인용 수 4

한 줄 요약

이 논문은 소프트 재료의 조작 작업에서 감각 신호와 지시 신호를 통해 하위 작업 간 전환을 가능하게 하기 위해 점 궤도자(dynamical systems)를 사용하여 로봇의 운동 제어를 설계하는 딥러닝 프레임워크를 제안한다. 컨volutional autoencoder와 다중 시간스케일 RNN을 통합함으로써, 모델은 유연하고 적응적인 운동 제어를 위해 시각 피드백과 외부 지시 신호를 통합하여 학습한다. 실험적으로는 훈련되지 않은 물체 위치에서도 동적으로 전환 가능한 천 접기 작업을 성공적으로 구현하였다.

ABSTRACT

To ensure that a robot is able to accomplish an extensive range of tasks, it is necessary to achieve a flexible combination of multiple behaviors. This is because the design of task motions suited to each situation would become increasingly difficult as the number of situations and the types of tasks performed by them increase. To handle the switching and combination of multiple behaviors, we propose a method to design dynamical systems based on point attractors that accept (i) "instruction signals" for instruction-driven switching. We incorporate the (ii) "instruction phase" to form a point attractor and divide the target task into multiple subtasks. By forming an instruction phase that consists of point attractors, the model embeds a subtask in the form of trajectory dynamics that can be manipulated using sensory and instruction signals. Our model comprises two deep neural networks: a convolutional autoencoder and a multiple time-scale recurrent neural network. In this study, we apply the proposed method to manipulate soft materials. To evaluate our model, we design a cloth-folding task that consists of four subtasks and three patterns of instruction signals, which indicate the direction of motion. The results depict that the robot can perform the required task by combining subtasks based on sensory and instruction signals. And, our model determined the relations among these signals using its internal dynamics.

연구 동기 및 목표

• 부드러운 재료를 포함한 복잡한 조작 작업에 대해 민첩하고 확장 가능한 운동 정책을 설계하는 데 도전한다.
• 순수 모델 기반 또는 감각 기반 제어의 한계를 극복하기 위해 감각 피드백과 외부 지시 신호를 모두 활용하여 하위 작업 간의 동적 전환을 가능하게 한다.
• 계층적 RNN 아키텍처에 작업 순서를 궤도 역학으로 통합하는 통합 프레임워크를 개발하여 다양한 물체 위치와 작업 변형에 대한 일반화를 가능하게 한다.
• 내부 신경 역학이 감각 및 지시 신호를 어떻게 인코딩하고 통합하여 견고하고 상호작용적인 작업 실행을 가능하게 하는지 조사한다.

제안 방법

• 안정적이고 전환 가능한 하위작업 역학을 가능하게 하기 위해 전환 단계로 점 궤도자를 사용하는 역학적 시스템을 설계한다.
• 이중 스트림 딥 네트워크를 활용: 감각 특징 추출을 위한 컨volutional autoencoder와 시간 역학 모델링을 위한 다중 시간스케일 RNN.
• RNN의 컨텍스트 레이어(C_f 및 C_s)를 사용하여 지시 신호(C_f)와 감각-운동 시퀀스(C_s)를 별도로 인코딩함으로써 계층적 신호 통합을 가능하게 한다.
• 이미지 시퀀스와 운동 방향을 나타내는 지시 신호를 사용하여 다섯 개의 하위작업을 포함한 천 접기 작업에서 모델을 훈련한다.
• 스위칭 포인트에서 내부 상태를 정렬하기 위해 점 궤도자 제약 조건을 적용하여 하위작업 간의 부드러운 전환을 보장한다.
• PCA를 통해 내부 상태를 시각화하여 네트워크의 잠재 공간에서 감각 및 지시 신호가 어떻게 인코딩되고 통합되는지 분석한다.

실험 결과

연구 질문

• RQ1 감각 입력과 외부 지시 신호를 모두 활용하여 딥러닝 기반의 역학적 시스템이 다수의 하위작업 간에 효과적으로 전환할 수 있는가?
• RQ2 내부 신경 역학은 감각 피드백과 지시 신호를 어떻게 표현하고 통합하여 적응적인 작업 실행을 가능하게 하는가?
• RQ3 이 모델은 조작 작업에서 훈련되지 않은 물체 위치와 형태에 대해 어느 정도 일반화할 수 있는가?
• RQ4 모델은 명시적인 재훈련 없이도 시각 피드백과 지시 신호의 조합에 기반하여 하위작업 간 전환을 학습할 수 있는가?
• RQ5 RNN의 별개의 내부 상태(C_f 및 C_s)는 각각 지시 신호 기반 전환과 감각 기반 전환에 어떻게 기여하는가?

주요 결과

• 모델은 네 개의 하위작업과 세 가지 지시 패턴을 포함한 천 접기 작업을 성공적으로 수행하였으며, 훈련되지 않은 물체 위치에서도 견고한 전환 성능를 보였다.
• C_f 뉴런은 지시 신호를 인코딩하였으며, 운동 방향에 해당하는 세 개의 명확한 클러스터를 형성하여 물체 위치와 관계없이 즉각적인 반응을 가능하게 하였다.
• C_s 뉴런은 감각-운동 역학을 포착하였으며, 하위작업에 해당하는 네 개의 명확한 클러스터를 형성하여 시각적 및 운동적 차이를 학습한 것을 나타내었다.
• 모델는 감각 및 지시 신호를 통합하여 상호작용적인 전환을 보였으며, 내부 상태 공간에서 두 신호 유형 간의 명확한 분리와 통합이 이루어진 것으로 확인되었다.
• 계층적 아키텍처 덕분에 다양한 구성에 걸쳐 작업 실행을 일반화할 수 있었으며, 이는 방법의 견고성과 적응 가능성의 확인이 되었다.
• 내부 상태의 시각화 결과, 모델가 감각 피드백과 지시 신호에 기반한 작업 역학 간의 임베딩 및 전환을 학습한 것을 확인할 수 있었다.