[논문 리뷰] Sensorimotor Input as a Language Generalisation Tool: A Neurorobotics Model for Generation and Generalisation of Noun-Verb Combinations with Sensorimotor Inputs

Junpei Zhong, Martin Peniak외 3명|arXiv (Cornell University)|2016. 05. 11.

Social Robot Interaction and HRI참고 문헌 49인용 수 12

한 줄 요약

이 논문은 다중 시간 스케일 순환 신경망(MTRNN)을 사용하여 신체적 센서모터 상호작용을 통해 인간형 로봇에서 명사 동사 문장 조합을 기반화하고 일반화하는 신경로로보틱스 모델을 제안한다. 실제 세계의 물체 조작 작업을 통해 훈련함으로써 모델은 동사를 운동 행동과, 명사를 물체와 연관지어 학습하며, 몸에 밴 센서모터 경험을 활용한 계층적이고 동적으로 조직된 네트워크 표현을 통해 새로운 조합으로의 일반화를 가능하게 한다.

ABSTRACT

The paper presents a neurorobotics cognitive model to explain the understanding and generalisation of nouns and verbs combinations when a vocal command consisting of a verb-noun sentence is provided to a humanoid robot. This generalisation process is done via the grounding process: different objects are being interacted, and associated, with different motor behaviours, following a learning approach inspired by developmental language acquisition in infants. This cognitive model is based on Multiple Time-scale Recurrent Neural Networks (MTRNN).With the data obtained from object manipulation tasks with a humanoid robot platform, the robotic agent implemented with this model can ground the primitive embodied structure of verbs through training with verb-noun combination samples. Moreover, we show that a functional hierarchical architecture, based on MTRNN, is able to generalise and produce novel combinations of noun-verb sentences. Further analyses of the learned network dynamics and representations also demonstrate how the generalisation is possible via the exploitation of this functional hierarchical recurrent network.

연구 동기 및 목표

• 로봇이 센서모터 경험에 기반한 명사 동사 조합을 이해하고 생성할 수 있도록 하는 신경로로보틱스 인지 모델을 개발하는 것.
• 계층적 순환 네트워크가 로봇 언어 학습에서 훈련되지 않은 명사 동사 조합의 일반화를 어떻게 지원할 수 있는지 조사하는 것.
• 특히 운동 행동과 물체 조작을 포함한 신체적 상호작용이 기반화된 언어 표현을 형성하는 데 어떤 역할을 하는지 탐색하는 것.
• MTRNN가 센서모터 입력을 통해 기능적이고 자가 조직화된 계층적 동역학을 자율적으로 형성하여 언어 일반화를 지원할 수 있음을 보여주는 것.
• 9개의 물체, 9개의 운동 행동, 6개의 공간 위치를 포함하는 대규모 실세계 로봇 상호작용 데이터셋을 사용하여 모델를 검증하는 것.

제안 방법

• 모델는 센서모터 시퀀스의 시간 역동성을 인코딩하기 위해 빠른 및 느린 두 가지 서로 다른 컨텍스트 레이어를 갖춘 다중 시간 스케일 순환 신경망(MTRNN)을 사용한다.
• 훈련 데이터는 인간형 로봇 플랫폼에서 수집된 쌍화된 음성 명령(동사-명사), 시각적 물체 특징, 그리고 해당 운동 행동 궤적을 포함한다.
• 네트워크는 운동 행동(자기감각 피드백)과 물체 상호작용(시각 입력) 간의 시간적 상관관계를 이용하여 동사-명사 쌍을 연관지운다.
• 느린 컨텍스트 레이어는 장기적인 운동 및 물체 표현을 캡처하며, 시간에 걸쳐 의미를 안정화하는 데 유사한 '사고 벡터'로 기능한다.
• 일반화는 MTRNN의 계층적 구조를 통해 이루어지며, 빠른 레이어는 즉각적인 행동 시퀀스를 인코딩하고, 느린 레이어는 동사-물체 연관의 추상적이고 안정된 표현을 인코딩한다.
• 모델는 역전파를 시간에 따라 적용하여 훈련되며, 깊은 RNN의 계산적 요구를 충족시키기 위해 GPU 가속을 활용한다.

실험 결과

연구 질문

• RQ1 MTRNN 기반의 신경로로보틱스 모델은 인간형 로봇에서 센서모터 상호작용을 통해 명사 동사 조합을 기반화할 수 있는가?
• RQ2 MTRNN의 계층적 구조는 훈련 중에 나타나지 않은 새로운 명사 동사 조합의 일반화를 어떻게 지원하는가?
• RQ3 특히 자기감각과 시각 입력을 포함한 센서모터 역동성이 동사와 명사의 학습된 표현을 얼마나 형성하는가?
• RQ4 MTRNN의 느린 및 빠른 컨텍스트 레이어는 언어 일반화를 위한 기능적이고 자가 조직화된 표현이 어떻게 발생하는가?
• RQ5 모델는 명시적인 재훈련 없이도 9개의 물체 × 9개의 동작 × 6개의 위치와 같은 광범위한 새로운 조합으로 일반화할 수 있는가?

주요 결과

• MTRNN 모델은 인간형 로봇에서 실세계 센서모터 데이터를 사용하여 동사-명사 조합을 성공적으로 기반화하였으며, 안정적이고 해석 가능한 내부 표현을 형성하였다.
• 모델는 훈련 세트에 포함되지 않은 9개의 물체, 9개의 동작, 6개의 공간 위치를 포함한 새로운 명사 동사 조합에 대해 강력한 일반화 성능를 보였다.
• MTRNN의 느린 컨텍스트 레이어는 안정적이고 장기적인 표현을 형성하여 '사고 벡터'로 기능하였으며, 운동 행동과 물체 인스턴스의 의미 프로파일을 인코딩하였다.
• 신경 동역학 분석을 통해 빠른 레이어는 즉각적인 행동 시퀀스를, 느린 레이어는 동사와 물체 간의 추상적이고 지속적인 연관을 표현하는 데 자가 조직화된 것이 확인되었다.
• 모델는 장기적인 안정된 계층적 표현을 유지함으로써 표준 RNN보다 일반화 성능에서 뛰어났으며, 시간에 걸쳐 모odal별 정보를 유지하는 데 기여하였다.
• 결과는 특히 운동 행동 중 자기감각 피드백을 포함한 센서모터 신체성(embodiment)이 언어 일반화를 뒷받침하는 네트워크 동역학을 형성하는 데 핵심적인 역할을 한다는 것을 확인한다.