[논문 리뷰] Sensorimotor learning for artificial body perception

German Diez-Valencia, Takuya Ohashi외 2명|arXiv (Cornell University)|2019. 01. 15.

Action Observation and Synchronization참고 문헌 11인용 수 4

한 줄 요약

이 논문은 감각운동 학습을 활용하여 로봇의 인공 신체 인식을 위한 다중 방법 프레임워크를 제안한다. 계층적 베이지안 모델, 예측 코딩, 생성적 적대적 네트워크(GAN)를 조합하여 비지도 자기 탐지 및 다중 모odal 신체 표현을 가능하게 한다. DC-GAN을 사용해 관절 각도에서 로봇 팔 마스크를 재구성하는 데 84.4%의 정확도를 달성하여 분할 또는 마커 없이도 강건한 자기 인식을 구현한다.

ABSTRACT

Artificial self-perception is the machine ability to perceive its own body, i.e., the mastery of modal and intermodal contingencies of performing an action with a specific sensors/actuators body configuration. In other words, the spatio-temporal patterns that relate its sensors (e.g. visual, proprioceptive, tactile, etc.), its actions and its body latent variables are responsible of the distinction between its own body and the rest of the world. This paper describes some of the latest approaches for modelling artificial body self-perception: from Bayesian estimation to deep learning. Results show the potential of these free-model unsupervised or semi-supervised crossmodal/intermodal learning approaches. However, there are still challenges that should be overcome before we achieve artificial multisensory body perception.

연구 동기 및 목표

• 마커나 수동 분할 없이 감각운동 조건을 활용하여 로봇이 자신의 신체를 인식할 수 있도록 하는 것.
• 실시간으로 자가 생성 감각 자극(신체 내)과 외부 자극(신체 외)을 구분하는 과제를 해결하는 것.
• 시각, 운동감각, 촉각 신호를 통합하여 몸체 체계 추정을 위한 비지도 다중 모달 학습 아키텍처를 개발하는 것.
• 딥 생성 모델을 활용해 다양한 배경과 센서 구성에서도 일반화 가능한 몸체 인식을 구현하는 것.
• 고무손가락 환각과 같은 현상을 재현하는 생물학적으로 타당한 몸체 인식 메커니즘을 제공하는 것.

제안 방법

• 감각운동 감각 데이터와 시각 데이터를 기반으로, 시각 영역이 로봇의 몸체에 속할 확률을 추정하기 위해 계층적 베이지안 추론 격자를 활용하였다.
• 자유 에너지 경계를 최소화하는 잠재 몸체 상태를 추론하기 위해, 가우시안 프로세스 회귀를 활용한 예측 코딩을 적용하였다.
• 딥 컨volution GAN(DC-GAN)을 사용해 시각-운동 모델의 정방향 모델을 학습하였으며, 합성 배경에서 관절 각도로부터 팔의 외관을 생성하였다.
• 일반화를 향상시키기 위해 배경 제거를 통해 무작위 배경과 불리안 마스크를 활용해 합성 훈련 데이터를 생성하였다.
• 공유 표현 없이 시각-촉각-운동감각 신호를 재구성하기 위해 워샤프스키 GAN 기반의 노이즈 제거 오토인코더를 프레임워크에 확장하였다.
• 모델을 시뮬레이션된 iCub 데이터 기반으로 오프라인으로 훈련하였으며, 동기화된 관절 각도, 촉각 센서 어레이, 시각 영역 내 2D 큐브 위치를 포함하였다.

실험 결과

연구 질문

• RQ1 로봇이 마커나 분할 없이 감각운동 피드백만으로 환경과 자신의 몸을 구분하여 인식할 수 있는가?
• RQ2 가우시안 프로세스 회귀를 활용한 예측 코딩이 로봇 몸체 체계에서 인간과 유사한 운동감각 이완 패턴을 재현할 수 있는가?
• RQ3 정규화되지 않은 배경 유형이 존재하는 상황에서도 GAN 기반 모델이 분할 없이 다양한 배경에서 로봇 팔의 외관을 얼마나 잘 일반화할 수 있는가?
• RQ4 노이즈 제거 오토인코더 아키텍처가 다중 감각 자극(시각, 촉각, 운동감각)을 교차 모달 입력으로부터 재구성하는 데 얼마나 효과적인가?
• RQ5 비지도로 자가 생성된 패턴이 강건하고 적응 가능한 인공 몸체 인식을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 계층적 베이지안 모델은 마커 없이도 시각 데이터와 가속도계 데이터의 베이지안 필터링을 통해 정확한 자기 탐지로 인체 내/외 시각 소스를 구분하는 데 성공하였다.
• 예측 코딩 모델은 동기적인 시각-촉각 자극을 유도하여 로봇에서 고무손가락 환각을 재현하였으며, 타당한 몸체 체계 적응을 보여주었다.
• DC-GAN은 모든 테스트 구성에서 원본과 생성된 팔 마스크 영역 간의 일치도를 84.4%로 달성하였으며, 학습되지 않은 배경 유형이 존재하는 상황에서도 성능을 유지하였다.
• 팔의 대부분이 시야 외부에 있을 경우 모델이 팔을 재구성하는 데 어려움을 겪어, 부분 시야 조건에서의 일반화 능력에 한계가 있음을 시사하였다.
• 컨볼루션 레이어는 촉각 센서 어레이에서 공간적 구조를 효과적으로 추출하였지만, 모odal 간 불일치로 인해 신뢰할 수 있는 촉각 신호 재구성은 이루어지지 않았다.
• 노이즈 제거 오토인코더는 다중 감각 데이터(관절 각도, 촉각, 시각 큐브 위치)를 성공적으로 재구성하였으며, 그림 4에 나타난 재구성된 열의 값들이 원본 데이터와 밀접하게 일치함을 보였다.