[논문 리뷰] Multimodal Continuation-style Architectures for Human-Robot Interaction

Nikhil Krishnaswamy, James Pustejovsky|arXiv (Cornell University)|2019. 09. 18.

Speech and dialogue systems참고 문헌 21인용 수 6

한 줄 요약

이 논문은 실시간 인간-아바타 상호작용을 위한 다중모달 계속형 전달 스타일 아키텍처를 제안하며, 수정된 비결정성 스택 자동기계를 통해 음성과 제스처의 점진적 이해를 가능하게 한다. 이는 동적 의미 해석, 제스처의 일회성 학습, 맥락 인식 행동 실행을 지원하며, 기능적 프로그래밍 패tern을 활용한 강력한 다중모달 통합 및 실시간 추론에서 주요 기여를 한다.

ABSTRACT

We present an architecture for integrating real-time, multimodal input into a computational agent's contextual model. Using a human-avatar interaction in a virtual world, we treat aligned gesture and speech as an ensemble where content may be communicated by either modality. With a modified nondeterministic pushdown automaton architecture, the computer system: (1) consumes input incrementally using continuation-passing style until it achieves sufficient understanding the user's aim; (2) constructs and asks questions where necessary using established contextual information; and (3) maintains track of prior discourse items using multimodal cues. This type of architecture supports special cases of pushdown and finite state automata as well as integrating outputs from machine learning models. We present examples of this architecture's use in multimodal one-shot learning interactions of novel gestures and live action composition.

연구 동기 및 목표

• 실시간, 다중모달 상호작용 아키텍처를 개발하여 인간과 신체적 에이전트 간 자연스럽고 맥락 인식 가능한 의사소통을 가능하게 한다.
• 점진적, 계속형 전달 스타일 추론을 사용하여 음성과 제스처 입력의 병합된 해석을 강력하게 수행한다.
• 현장 환경에서 행동 실행을 위한 신규 제스처의 일회성 학습을 지원한다 (예: 상징적 신호).
• 다중모달 신호와 동적 의미 해석을 통해 의사소통 맥락을 유지하고 지시어 참조를 해결한다.
• 기존의 로봇 아키텍처인 DIARC와 POMDPs와 호환 가능한 모듈식 프레임워크를 제공한다.

제안 방법

• 시스템은 의사소통과 맥락을 모델링하기 위해 수정된 비결정성 스택 자동기계(PDA)를 사용하며, 스택 기호는 완료되지 않은 행동이나 해석을 나타낸다.
• 계속형 전달 스타일(CPS)을 사용하여 맥락 정보를 점진적으로 조합함으로써, 다양한 모odal 간 실시간 타입 코ercion과 함수 적용을 가능하게 한다.
• 실시간 음성 및 제스처 인식 시스템의 입력을 VoxML 모델링 언어를 통해 의미 술어로 매핑하여 아키텍처에 통합한다.
• 지시어 참조(예: '거기 놔')의 의미 해석은 스택에 여러 후보 위치나 물체를 푸시함으로써 처리되며, 인간의 확인을 통해 선택이 결정된다.
• 일회성 제스처 학습은 제스처의 타입(예: '컵 잡기')을 고차원 행동 템플릿(예: '물체를 위치에 놓기')와 일치시키기 위해 타입을 업그레이드함으로써 달성된다.
• 시스템은 C#으로 구현되었으며, 유니티 게임 엔진과 VoxSim 플랫폼을 사용하여 가상의 현장 환경에서의 배포를 가능하게 한다.

실험 결과

연구 질문

• RQ1 계산 기반 에이전트는 실시간으로 다중모달 입력(음성과 제스처)을 점진적으로 이해하면서도 맥락 일관성을 유지할 수 있는가?
• RQ2 계속형 전달 스타일 아키텍처는 인간-로봇 대화에서 지시어 참조를 동적으로 의미 해석할 수 있는가?
• RQ3 어떤 메커니즘이 현장 환경에서 복잡한 행동을 유도하기 위해 신규 제스처를 일회성으로 학습할 수 있도록 하는가?
• RQ4 한 개의 아키텍처가 유한 상태 기계, 스택 자동기계, 결정성 자동기계를 모두 일반화하면서 다중모달 입력을 지원할 수 있는가?
• RQ5 기능적 프로그래밍 패턴(예: CPS)은 사회적 로봇의 실시간 추론을 어떻게 향상시킬 수 있는가?

주요 결과

• 계속형 전달 스타일을 사용한 실시간 점진적 다중모달 입력 이해가 성공적으로 수행되었으며, 동적 타입 코ercion과 함수 적용이 가능해졌다.
• 스택 기반 PDA 모델을 사용해 지시어 참조의 의미 해석을 다수의 후보 위치나 물체를 탐색함으로써 효과적으로 수행하였고, 인간의 확인을 통해 의미 모호성이 해결되었다.
• 상징적 제스처(예: '컵'을 잡는 것을 모의함)의 일회성 학습이 제스처의 의미 타입을 고차원 행동 템플릿과 일치시키기 위해 업그레이드함으로써 달성되었으며, 직접 실행이 가능해졌다.
• 구성 설정에 따라 유한 상태 기계, 결정성 PDA, 비결정성 PDA를 모두 일반화할 수 있어, 다양한 상호작용 복잡성 수준을 모델링하는 데 있어 유연성이 입증되었다.
• 유니티와 VoxSim를 사용한 C# 기반 구현을 통해 가상 환경에서 실시간 배포가 가능했으며, 음성, 제스처, 현장 세계 모델링의 완전한 통합이 이루어졌다.
• 다중모달 신호를 통한 의사소통 상태와 이전 상호작용 이력의 유지를 통해 맥락 인식 질문 제기 및 응답 생성이 가능해졌다.