[논문 리뷰] Multisensory Learning Framework for Robot Drumming

Andrey Barsky, Claudio Zito외 3명|arXiv (Cornell University)|2019. 07. 23.

Robot Manipulation and Learning참고 문헌 4인용 수 4

한 줄 요약

이 논문은 인간형 로봇의 타악기 연주를 위한 훈련을 위해 시뮬레이션에서 동기화된 다중 감각 데이터(음성, 영상, 퍼피션)를 생성하는 오픈소스 프레임워크를 제시한다. LSTM와 모달리티 드롭아웃을 갖춘 수축성 오토인코더를 사용하여 시스템은 비선형 감각운동 맵핑을 학습하며, 이는 정확한 다중 모달리티 검색을 가능하게 한다—예를 들어, 미리 보지 않은 음성 또는 영상 입력으로부터 새로운 타악기 연주 동작을 생성하는 것— qualitative 재구성 정밀도와 미리 보지 않은 시퀀스로의 일반화를 통해 입증된다.

ABSTRACT

The hype about sensorimotor learning is currently reaching high fever, thanks to the latest advancement in deep learning. In this paper, we present an open-source framework for collecting large-scale, time-synchronised synthetic data from highly disparate sensory modalities, such as audio, video, and proprioception, for learning robot manipulation tasks. We demonstrate the learning of non-linear sensorimotor mappings for a humanoid drumming robot that generates novel motion sequences from desired audio data using cross-modal correspondences. We evaluate our system through the quality of its cross-modal retrieval, for generating suitable motion sequences to match desired unseen audio or video sequences.

연구 동기 및 목표

• 음성, 영상, 퍼피션 모달리티에 걸쳐 시간적으로 동기화된 대규모 다중 감각 데이터를 수집하기 위한 확장 가능하고 오픈소스의 시뮬레이션 프레임워크를 개발하기 위해.
• 원하는 음성 또는 시각적 입력으로부터 적절한 타악기 연주 동작을 생성할 수 있도록 비선형 감각운동 맵핑을 학습하기 위해.
• 입력 모달리티가 부분적으로 누락된 경우에도 강건한 다중 모달리티 재구성으로 인해 모달리티 불변성을 달성하기 위해.
• 인과적 감각운동 대응 관계를 학습하여, 미리 보지 않은 음성 및 영상 시퀀스로의 일반화를 가능하게 하기 위해.
• 미래의 촉각 피드백 통합을 위한 기반을 마련하기 위해.

제안 방법

• 프레임워크는 Gazebo와 ROS를 사용하여, 음성, 영상, 관절 상태 모달리티 간에 동기화된 데이터 수집을 수행하는 Baxter 로봇이 타악기 작업을 수행하도록 시뮬레이션한다.
• 운동 프리미티브는 세 점 경로(시작, 접촉, 복귀)로 정의되며, 운동 계획기로 타악기 표기법 입력과 동기화된다.
• 음성은 로봇의 종말부와 타악기 표면 간의 충돌 검출을 통해 생성되며, 영상은 가상의 헤드마운트 카메라에서 촬영된다.
• 다중 모달리티 감각 통합 네트워크는 단일 모달리티 특징(이미지, 음성, 관절 각도)을 별도로 인코딩하고, 이를 연결하여 수축성 오토인코더의 복합층에 입력한다. 복합층에는 LSTM이 포함되어 있다.
• 학습 중에는 모달리티를 무작위로 드롭아웃하여 강건성과 모달리티 불변성을 강제로 적용하며, 재구성 손실은 모든 세 모달리티에 대해 평균 제곱오차로 계산된다.
• 시스템은 부분적인 입력으로부터 전체 감각 데이터를 재구성하도록 훈련되어, 다중 모달리티 검색 및 미리 보지 않은 시퀀스로의 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 시뮬레이션 프레임워크는 로봇 조작 작업을 위한 효율적인 동기화된 대규모 다중 감각 데이터 생성이 가능한가?
• RQ2 딥 감각운동 네트워크는 음성, 시각, 운동 모달리티 간의 비선형 맵핑을 효과적으로 학습하여 다중 모달리티 검색을 가능하게 하는가?
• RQ3 학습 중 모달리티 드롭아웃이 입력 모달리티가 누락된 경우에도 강건하고 불변하는 표현을 생성하는가?
• RQ4 시스템은 이전에 보지 않은 음성 또는 영상 시퀀스로부터 새로운 적절한 타악기 연주 동작을 생성할 수 있는가?
• RQ5 네트워크는 드럼 타악기 신호나 운동 궤적과 같은 핵심 신호 특징을 유지하면서 누락된 감각 모달리티를 얼마나 잘 재구성할 수 있는가?

주요 결과

• 시스템은 훈련 데이터를 초월하여 미리 보지 않은 음성 및 영상 입력으로부터 운동 시퀀스를 성공적으로 생성하여 일반화 능력을 입증하였다.
• 음성 재구성은 배경 잡음을 걸러내면서도 드럼 타악기 신호를 유지하여 효과적인 신호 복구를 보였다.
• 시각적 재구성은 정성적으로 참값과 유사하며, 시간에 따라 운동 궤적을 정확히 따라가었다.
• 음성에서의 운동 재구성은 고차원 시간 의존성으로 인해 노이즈가 많아졌으며, 이는 운동 예측 모델링의 한계를 시사한다.
• 학습 중 모달리티 드롭아웃을 활용함으로써 강건한 재구성과 모달리티 불변 표현이 가능해졌다.
• 프레임워크는 확장 가능하며,未래의 촉각 피드백 통합을 통해 향상된 조작 능력을 위한 기반을 제공한다.