[논문 리뷰] Developing Embodied Multisensory Dialogue Agents

Michał B. Paradowski|arXiv (Cornell University)|2011. 11. 29.

Action Observation and Synchronization참고 문헌 184인용 수 3

한 줄 요약

이 논문은 인간의 몸과 뇌 구조에 기반하여 신체적 몰입과 감각적 공명을 통해 언어적 및 비언어적 감각 입력을 통합하는, 몸이 있는 다감각 대화 에이전트를 개발하기 위한 프레임워크를 제안한다. 몸에서 분리된 언어 처리를 거부함으로써, 통합된 다감각 통합을 통해 에이전트의 반응성, 환경에 대한 민감도, 상황적 상호작용 능력이 향상되어 더 자연스럽고 적응적인 인간-기계 간 소통이 가능해진다.

ABSTRACT

A few decades of work in the AI field have focused efforts on developing a new generation of systems which can acquire knowledge via interaction with the world. Yet, until very recently, most such attempts were underpinned by research which predominantly regarded linguistic phenomena as separated from the brain and body. This could lead one into believing that to emulate linguistic behaviour, it suffices to develop 'software' operating on abstract representations that will work on any computational machine. This picture is inaccurate for several reasons, which are elucidated in this paper and extend beyond sensorimotor and semantic resonance. Beginning with a review of research, I list several heterogeneous arguments against disembodied language, in an attempt to draw conclusions for developing embodied multisensory agents which communicate verbally and non-verbally with their environment. Without taking into account both the architecture of the human brain, and embodiment, it is unrealistic to replicate accurately the processes which take place during language acquisition, comprehension, production, or during non-linguistic actions. While robots are far from isomorphic with humans, they could benefit from strengthened associative connections in the optimization of their processes and their reactivity and sensitivity to environmental stimuli, and in situated human-machine interaction. The concept of multisensory integration should be extended to cover linguistic input and the complementary information combined from temporally coincident sensory impressions.

연구 동기 및 목표

• 언어가 몸과 뇌에서 분리되어 처리될 수 있다는 오랜 가정에 도전하기 위해.
• 언어를 추상적 기호 조작으로 간주하는 몸에서 분리된 AI 시스템의 한계를 해결하기 위해.
• 언어 입력을 시간적으로 일치하는 감각 모odality(예: 시각, 촉각, 청각)와 통합할 수 있는 대화 에이전트를 개발하기 위해.
• 언어를 신체적이고 상황적 인지에 기반시켜 에이전트의 반응성과 환경에 대한 민감도를 향상시키기 위해.
• 말하기와 비언어적 의사소통을 모두 지원하는 다감각 통합을 위한 설계 프레임워크를 제안하기 위해.

제안 방법

• 기호 기반의 몸에서 분리된 언어 처리에서 신체적 경험에 기반한 몸이 있는 인지로의 전환을 제안한다.
• 시간적·공간적으로 동시에 발생하는 비언어적 감각 데이터(예: 시각, 청각, 촉각)와 언어 입력을 통합한다.
• 뇌 구조와 몸이 언어 습득, 이해, 생성에 미치는 영향을 강조한다.
• 감각 입력과 언어 표현 간의 연관성 연결을 통해 에이전트의 반응성을 강화한다.
• 다감각 피드백 루프를 통해 환경 자극에 동적으로 반응하도록 에이전트를 설계한다.
• 다감각 통합의 개념을 언어 신호도 통합된 통합된 지각 흐름의 일부로 확장한다.

실험 결과

연구 질문

• RQ1 언어 처리를 추상적 기호 조작이 아닌, 감각운동 경험에 의미 있게 기반시킬 수 있는가?
• RQ2 언어를 몸과 환경에서 분리된 채로 처리하는 현재의 AI 시스템의 한계는 무엇인가?
• RQ3 다감각 통합은 현실 세계 상호작용에서 대화 에이전트의 반응성과 민감도를 어떻게 향상시킬 수 있는가?
• RQ4 신체적 몰입은 인공 에이전트의 언어 습득, 이해, 생성 방식에 어떤 영향을 미치는가?
• RQ5 말하기와 비언어적 의사소통을 모두 지원하기 위해 필요한 아키텍처 원칙은 무엇인가?

주요 결과

• 몸에서 분리된 언어 처리 방식은 인간의 언어 사용이 동적으로 변화하고 맥락에 민감한 특성을 재현하지 못한다.
• 실제적인 언어 습득과 이해를 위해 몸이 있는 인지와 다감각 통합이 필수적이다.
• 감각 입력의 시간적 동시성은 연관 학습을 강화하고 환경 자극에 대한 에이전트의 반응성을 향상시킨다.
• 언어 입력을 비언어적 감각 데이터와 통합하면 더 자연스럽고 적응적인 대화 행동이 가능해진다.
• 인간의 뇌 구조와 몸이 있는 경험을 고려하지 않으면 인간과 유사한 언어 처리를 정확히 모델링할 수 없다.
• 로봇는 감각 모듈 간의 강화된 연관성 연결을 통해 상호작용 능력을 향상시킬 수 있다.