[논문 리뷰] Extensible Grounding of Speech for Robot Instruction

Jonathan H. Connell|arXiv (Cornell University)|2018. 07. 31.

Multimodal Machine Learning Applications참고 문헌 13인용 수 8

한 줄 요약

이 논문은 로봇 시스템에서 구어 언어를 지능적으로 기반화하기 위한 확장 가능한 프레임워크를 제안한다. 이는 인간의 지시를 통해 신규 물체 이름과 동작을 학습할 수 있도록 하며, 지각, 운동, 언어적 기반화를 통합하고 '들어보는 것만으로 배우기' 기반 메커니즘을 통해 사전 프로그래밍 없이도 어휘와 능력을 동적으로 확장한다. 사소한 환경에서 명사와 동사 기반화의 성공적인 확장을 보여준다.

ABSTRACT

Spoken language is a convenient interface for commanding a mobile robot. Yet for this to work a number of base terms must be grounded in perceptual and motor skills. We detail the language processing used on our robot ELI and explain how this grounding is performed, how it interacts with user gestures, and how it handles phenomena such as anaphora. More importantly, however, there are certain concepts which the robot cannot be preprogrammed with, such as the names of various objects in a household or the nature of specific tasks it may be requested to perform. In these cases it is vital that there exist a method for extending the grounding, essentially "learning by being told". We describe how this was successfully implemented for learning new nouns and verbs in a tabletop setting. Creating this language learning kernel may be the last explicit programming the robot ever needs - the core mechanism could eventually be used for imparting a vast amount of knowledge, much as a child learns from its parents and teachers.

연구 동기 및 목표

• 실세계 환경에서 지각적 및 운동적 기반 기반 기반의 말 명령어를 이해할 수 있도록 로봇을 가능하게 하기.
• 로봇 지시에서 알려지지 않거나 사전 프로그래밍되지 않은 개념(예: 새로운 물체나 작업)에 대응하는 것.
• 로봇이 인간이 제공한 예시를 통해 언어 기반화를 확장할 수 있도록 '들어보는 것만으로 배우기' 기반 메커니즘을 개발하기.
• 음성, 제스처, 지시어 해결 기능을 통합하여 통합된 언어 이해 시스템을 만들기.
• 명시적 프로그래밍의 필요성을 최소화하는 자가 확장 가능한 지식 커널을 만들기.

제안 방법

• 로봇은 음성, 제스처, 환경 인식을 조합한 다중 모odal 인터페이스를 사용하여 실시간으로 언어 용어를 기반화한다.
• 기본 용어(예: '들어 올리기', '이동시키기')는 지각적 및 운동적 동작에 대한 사전 정의된 매핑을 통해 사전 기반화된다.
• 신규 개념의 경우, 시스템은 인간이 제공한 시연와 레이블을 캡처하여 새로운 의미-물리적 연관성을 생성한다.
• 지시어 해결은 참조 대상을 다국적 대화에서 추적하는 맥락 인식 대화 모델을 유지함으로써 처리된다.
• 학습 커널은 새로운 명사 및 동사 매핑을 구조화된 지식 기반에 저장함으로써 로봇의 어휘를 동적으로 확장한다.
• 시스템은 기계적 해석 가능성과 적응 가능성의 균형을 이루기 위해 하이브리드 기호-연결주의 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 로봇은 인간의 지시를 통해 어떻게 동적으로 새로운 명사와 동사를 이해할 수 있는가?
• RQ2 사전 프로그래밍 없이도 지각적 공간과 운동적 공간에서 음성의 기반화를 어떻게 강력하게 확보할 수 있는가?
• RQ3 제스처와 맥락적 신호는 로봇 지시에서 언어 이해를 향상시키기 위해 어떻게 통합될 수 있는가?
• RQ4 다중 턴 상호작용 중에 지시어 해결은 어떻게 이루어지고 참조 일관성이 유지되는가?
• RQ5 단일 학습 메커니즘이 확장 가능하고, 수명 주기 동안 언어와 행동 지식을 습득하는 데 지원할 수 있는가?

주요 결과

• 로봇은 사소한 환경에서 직접적인 인간 지시를 통해 새로운 물체 이름과 동작 동사를 성공적으로 학습했다.
• 제스처와 구두 레이블을 포함한 최소한의 인간 입력을 통해 새로운 용어의 기반화가 강력하게 이루어졌다.
• 대화 중 여러 발화에 걸쳐 참조 대상의 일관성이 유지되는 데 효과적인 지시어 해결 기능이 입증되었다.
• 들어보는 것만으로 배우기 메커니즘이 재프로그래밍이 필요 없이 어휘를 확장하는 데 기여했다.
• 확장 가능한 기반화 프레임워크는 인간과 유사한 언어 학습을 모방하는 장기적이고 점진적인 지식 획득을 지원했다.
• 이 방법은 초기 학습 데이터셋에 포함되지 않은 새로운 물체와 작업에 대해서도 확장 가능하고 일반화 가능함을 입증했다.