[논문 리뷰] Robots Learn Social Skills: End-to-End Learning of Co-Speech Gesture Generation for Humanoid Robots

Youngwoo Yoon, Woo-Ri Ko외 4명|arXiv (Cornell University)|2018. 10. 30.

Speech and dialogue systems인용 수 6

한 줄 요약

이 논문은 52시간 분량의 TED 강연 영상에서 추출한 음성 텍스트를 이용해 인간형 로봇을 위한 공음성 제스처를 생성하는 엔드 투 엔드 딥 러닝 모델을 제시한다. 모델은 인코더-디코더 아키텍처를 활용하여 다양한 맥락에 맞는 제스처—형상적, 은유적, 지시적, 박자형—을 생성하며, NAO 로봇에서 실시간으로 인간과 유사한 동작을 구현한다. 주관적 평가를 통해 제스처와 음성의 일치성과 자연스러움이 확인되었다.

ABSTRACT

Co-speech gestures enhance interaction experiences between humans as well as between humans and robots. Existing robots use rule-based speech-gesture association, but this requires human labor and prior knowledge of experts to be implemented. We present a learning-based co-speech gesture generation that is learned from 52 h of TED talks. The proposed end-to-end neural network model consists of an encoder for speech text understanding and a decoder to generate a sequence of gestures. The model successfully produces various gestures including iconic, metaphoric, deictic, and beat gestures. In a subjective evaluation, participants reported that the gestures were human-like and matched the speech content. We also demonstrate a co-speech gesture with a NAO robot working in real time.

연구 동기 및 목표

• 전문가가 설계한 규칙에 의존도를 줄이는 학습 기반의 공음성 제스처 생성 방법을 개발하기 위해.
• 말 텍스트만을 입력으로 사용하여 인간형 로봇이 다양한 맥락에 맞는 제스처를 생성할 수 있도록 하기 위해.
• 실시간 제스처 생성을 물리적 로봇(NAO)에서 구현하여 인간-로봇 상호작용을 향상시키기 위해.
• 주관적 인간 인식 연구를 통해 생성된 제스처의 자연스러움과 내용 일치성 평가하기 위해.

제안 방법

• 모델은 음성 텍스트를 잠재 표현으로 인코딩하기 위한 인코더를 갖춘 순차적-순차적 신경망을 사용한다.
• Transformer 기반 디코더는 인코딩된 음성에 조건화된 제스처 파라미터(예: 관절 각도, 타이밍)의 순서를 생성한다.
• 모델은 음성 텍스트와 해당하는 인간의 제스처가 짝지어진 52시간 분량의 TED 강연 영상으로 사전 훈련된다.
• 형상적, 은유적, 지시적, 박자형 제스처 유형은 명시적 레이블 없이 엔드 투 엔드 훈련을 통해 암묵적으로 학습된다.
• 원시 텍스트에서 운동 순서까지의 엔드 투 엔드 훈련이 가능하여 수작업으로 만든 제스처 규칙을 피한다.
• NAO 로봇에 모델을 배포하여 실시간 추론을 구현함으로써 음성과 제스처의 동기화 출력을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 규칙 기반 시스템 없이 말 텍스트만으로 다양한 공음성 제스처를 생성할 수 있는가?
• RQ2 생성된 제스처가 음성의 의미적 내용과 어느 정도 일치하는가?
• RQ3 생성된 제스처가 인간 관찰자에게 얼마나 자연스럽고 인간다운가?
• RQ4 이중 하나의 엔드 투 엔드 프레임워크에서 형상적, 박자형, 지시적 등 다양한 제스처 유형을 생성할 수 있는가?
• RQ5 이 방법을 사용해 물리적 인간형 로봇에서 실시간 제스처 생성이 가능한가?

주요 결과

• 모델은 명시적 지도 없이도 형상적, 은유적, 지시적, 박자형 제스처를 포함한 다양한 제스처 유형을 성공적으로 생성한다.
• 주관적 평가 결과, 참가자들은 생성된 제스처가 자연스럽고 음성 내용과 잘 맞춰져 있다고 평가했다.
• 시스템은 NAO 인간형 로봇에서 실시간 성능를 달성하여 실용적 구현 가능성을 입증했다.
• 모델은 다양한 음성 내용으로 일반화되며, 새로운 문장에 대해서도 맥락에 맞는 제스처를 생성한다.
• TED 강연 데이터의 활용으로 모델은 실제 인간의 언어에서 유래한 풍부하고 사회적으로 의미 있는 제스처 패턴을 학습할 수 있었다.