[논문 리뷰] Understanding User Instructions by Utilizing Open Knowledge for Service Robots

Dongcai Lu, Feng Wu외 1명|arXiv (Cornell University)|2016. 06. 09.

Robotics and Automated Systems참고 문헌 29인용 수 4

한 줄 요약

이 논문은 서비스 로봇이 일반적인 언어 지시어를 이해하기 위해 개방 지식 자원과 일반 동사의 의미 역할 레이블링을 활용하는 새로운 프레임워크를 제안한다. 의미 역할 복원과 Answer Set Programming 기반 계획을 통합하여 실시간으로 작업 계획을 생성함으로써, KeJia 로봇에서 RoboCup@Home 대회에 참가하면서 실제 환경에서 높은 정확도와 효율성을 달성한다.

ABSTRACT

Understanding user instructions in natural language is an active research topic in AI and robotics. Typically, natural user instructions are high-level and can be reduced into low-level tasks expressed in common verbs (e.g., `take', `get', `put'). For robots understanding such instructions, one of the key challenges is to process high-level user instructions and achieve the specified tasks with robots' primitive actions. To address this, we propose novel algorithms by utilizing semantic roles of common verbs defined in semantic dictionaries and integrating multiple open knowledge to generate task plans. Specifically, we present a new method for matching and recovering semantics of user instructions and a novel task planner that exploits functional knowledge of robot's action model. To verify and evaluate our approach, we implemented a prototype system using knowledge from several open resources. Experiments on our system confirmed the correctness and efficiency of our algorithms. Notably, our system has been deployed in the KeJia robot, which participated the annual RoboCup@Home competitions in the past three years and achieved encouragingly high scores in the benchmark tests.

연구 동기 및 목표

• 서비스 로봇에서 고수준이고 개방적인 자연어 지시어를 해석하는 데 도전하는 데 목적이 있다.
• 사용자 지시어에서 누락된 의미 역할을 문맥과 개방 지식을 활용해 복원할 수 있도록 하는 데 목적이 있다.
• 의미 역할 정의를 사용하여 자연어 동작을 로봇 프리미티브로 매핑함으로써 실행 가능한 작업 계획을 생성하는 데 목적이 있다.
• 계층적 분해와 지식 재사용을 통해 확장성과 실시간 성능을 향상시키는 데 목적이 있다.
• 실제 로봇 응용 분야에서 시스템을 검증하며, KeJia 로봇에의 배포를 포함한다.

제안 방법

• FrameNet과 Re-FrameNet의 의미 역할 레이블링을 활용하여 'take', 'put', 'clean up'과 같은 일반 동사의 의미를 정의한다.
• 사용자 지시어의 문맥에서 누락된 의미 역할(예: 주어, 목적어, 위치)을 히우리스틱 방법으로 복원한다.
• 계층적 작업 분해를 모델링하기 위해 OMICS, WordNet, WikiHow와 같은 개방 지식 소스를 통합한다.
• 고수준 지시어를 저수준 로봇 동작 시퀀스로 매핑하기 위해 Answer Set Programming(ASP)을 사용한 상징적 작업 계획을 수행한다.
• 자연어 입력에서 의미 표현으로, 그다음 실행 가능한 동작 시퀀스로의 변환을 위한 지식 파이프라인을 구축한다.
• 실시간 실행을 지원하기 위해 NLU, 지식 기반, 계획 모듈을 조합한 모듈식 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 부분적 또는 모호한 자연어 지시어에서 일반 동사의 의미 역할을 어떻게 효과적으로 복원할 수 있는가?
• RQ2 개방 지식 자원을 얼마나 활용하면 자연어 지시어로부터의 작업 계획 정확도와 완전성이 향상되는가?
• RQ3 의미 역할 정의와 개방 지식을 사용하는 상징적 계획 시스템이 실제 서비스 로봇에서 실시간 성능을 달성할 수 있는가?
• RQ4 개방 지식를 활용한 작업의 계층적 분해가 지시어 이해의 확장성과 내구성에 어떻게 기여하는가?
• RQ5 여러 개의 개방 지식 자원을 통합함으로써 시스템의 다양한 사용자 지시어에 대한 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 시스템은 11,885건의 사용자 작업과 467건의 사용자 욕구에 대해 높은 정확도로 해석과 계획을 수행하였으며, 의미 역할 복원이 계획 정확도를 크게 향상시켰다.
• KeJia 로봇에서 실시간 계획이 성공적으로 구현되어 가정 환경에서 복잡한 작업의 실행이 가능해졌다.
• OMICS와 Re-FrameNet의 통합을 통해 효율적인 전역 계획이 가능해져, 저수준 동작에만 국한된 비용이 많이 드는 지역 계획을 최소화할 수 있었다.
• 의미 역할 기반 지식의 적용으로 암시적 동작(예: '두통이 있다'는 표현에 대해 아스피린을 건네는 것)을 유추할 수 있는 능력이 향상되었다.
• 프로토타입 시스템은 3년 연속으로 RoboCup@Home 대회에 성공적으로 배포되어 높은 벤치마크 점수를 기록하였다.
• 손으로 코딩한 동작 모델에 비해 확장성과 일반화 능력에서 뛰어나면서도 실시간 성능를 유지하였다.