[논문 리뷰] Knowledge Representation for Robots through Human-Robot Interaction

Emanuele Bastianelli, Domenico D. Bloisi외 4명|arXiv (Cornell University)|2013. 07. 28.

Multimodal Machine Learning Applications참고 문헌 23인용 수 8

한 줄 요약

이 논문은 사용자가 제공한 언어적 및 제스처적 신호로 표시된 거리 지도를 기반으로 로봇이 풍부하고 지식 기반의 표현을 구축할 수 있도록 다중 모odal 인간-로봇 상호작용 프레임워크를 제안한다. 복잡한 참조 표현을 기반으로 하고 상위 수준의 네비게이션 계획을 가능하게 하여, 로봇이 실제 환경에서 자연어 명령을 이해하고 실행하는 데 있어 자율성을 크게 향상시킨다.

ABSTRACT

The representation of the knowledge needed by a robot to perform complex tasks is restricted by the limitations of perception. One possible way of overcoming this situation and designing "knowledgeable" robots is to rely on the interaction with the user. We propose a multi-modal interaction framework that allows to effectively acquire knowledge about the environment where the robot operates. In particular, in this paper we present a rich representation framework that can be automatically built from the metric map annotated with the indications provided by the user. Such a representation, allows then the robot to ground complex referential expressions for motion commands and to devise topological navigation plans to achieve the target locations.

연구 동기 및 목표

• 복잡한 환경에서의 인지 제약으로 인한 로봇 지식 표현의 한계를 해결하기 위해.
• 인간이 제공한 애너테이션을 통합하여 상징적 추론와 센서 기반 인식 간 격차를 극복하기 위해.
• 기반 참조 표현을 통한 자연어 운동 명령의 해석과 실행을 가능하게 하기 위해.
• 다중 모달 인간 입력을 사용하여 거리 지도를 의미적으로 풍부하게 만드는 확장 가능한 프레임워크를 개발하기 위해.
• 인간 상호작용에서 유도된 공간 관계를 코딩하여 상위 수준의 네비게이션 계획을 지원하기 위해.

제안 방법

• 표준 로봇 인식 기법을 사용하여 환경의 거리 지도를 구축한다.
• 언어적 설명과 제스처를 포함한 다중 모달 인간 입력을 통합하여 특정 위치와 공간 관계를 애너테이션한다.
• 하이브리드 공간 추론 모델을 사용하여 애너테이션된 거리 지도에서 자동으로 기호적 지식 표현을 생성한다.
• 공식 온톨로지 기반 프레임워크를 사용하여 공간 관계(예: '뒤에', '옆에')와 물체 역할을 인코딩한다.
• 상위 수준의 네비게이션 계획을 가능하게 하기 위해 '소파 뒤의 책장으로 가기'와 같은 복잡한 참조 표현을 토폴로지 서브맵에 매핑함으로써 기반 참조 표현을 지원한다.
• 이동 가능한 영역과 그 관계를 기반으로 한 그래프 기반 표현을 구성함으로써 상위 수준의 네비게이션 계획을 가능하게 한다.

실험 결과

연구 질문

• RQ1 로봇은 실제 환경에서 인간-로봇 상호작용을 통해 어떻게 의미적인 공간 지식을 효과적으로 습득할 수 있는가?
• RQ2 다중 모달 입력을 사용하여 자연어 운동 명령을 안정적으로 기반 참조 표현할 수 있는 표현 모델은 무엇인가?
• RQ3 어떻게 거리 지도를 기호적 지식으로 풍부하게 하여 고수준의 추론과 네비게이션을 지원할 수 있는가?
• RQ4 인간이 애너테이션한 공간 기반 기술을 바탕으로 상위 수준의 네비게이션 계획을 얼마나 자동으로 유도할 수 있는가?
• RQ5 다중 모달 상호작용은 로봇 명령 이해의 정확성과 견고성에 어떤 영향을 미치는가?

주요 결과

• 시스템은 애너테이션된 거리 지도를 기반으로 자연어 명령을 환경 내 특정 위치에 성공적으로 매핑한다.
• 언어적 및 제스처적 신호의 통합은 '책장이 책상 뒤에 있는 곳'과 같은 복잡한 참조 표현의 정확한 기반 참조를 가능하게 한다.
• 결과로 도출된 기호적 표현은 상위 수준의 네비게이션 계획을 지원하여, 애너테이션된 위치 간의 타당한 경로를 계산할 수 있도록 한다.
• 순수하게 인식 기반 모델에 비해 로봇 지식 표현의 해석 가능성과 확장성 향상이 입증된다.
• 로봇은 인간이 애너테이션한 공간 의미를 활용하여 즉각적인 센서 데이터를 초월해 일반화할 수 있다.
• 평가 결과, 최소한의 인간 감시로도 실내 환경에서 신뢰할 수 있는 명령 실행 성능을 달성한다.