[논문 리뷰] Robot-Initiated Specification Repair through Grounded Language Interaction

Adrian Boteanu, Jacob Arkin외 3명|arXiv (Cornell University)|2017. 10. 03.

Robot Manipulation and Learning참고 문헌 18인용 수 14

한 줄 요약

이 논문은 형식적 합성과 기반된 자연어 상호작용을 사용하여 실현 불가능한 작업 명세를 해결하는 로봇 주도 사양 복구 프레임워크를 제안한다. LTL 명세에서 환경 가정을 생성하고 자연어를 통해 사용자에게 확인 또는 거부를 요청함으로써, 시스템은 모호하거나 불완전한 지시를 사전에 수정하여 반복적인 사용자-로봇 협업을 통해 동적 환경에서 작업 성공률을 향상시킨다.

ABSTRACT

Robots are required to execute increasingly complex instructions in dynamic environments, which can lead to a disconnect between the user's intent and the robot's representation of the instructions. In this paper we present a natural language instruction grounding framework which uses formal synthesis to enable the robot to identify necessary environment assumptions for the task to be successful. These assumptions are then expressed via natural language questions referencing objects in the environment. The user is prompted to confirm or reject the assumption. We demonstrate our approach on two tabletop pick-and-place tasks.

연구 동기 및 목표

• 부분적 또는 모호한 작업 기술로 인한 로봇의 자연어 지시 오해 문제를 해결하기 위해.
• 성공적인 작업 실행을 방해하는 사양 갈등을 사전에 식별하고 해결할 수 있도록 로봇을 가능하게 하기 위해.
• 물리적 물체에 대한 자연어 질문을 통해 추상적인 논리적 가정을 자연어로 구체화함으로써 인간-로봇 상호작용을 촉진하기 위해.
• 사용자 피드백을 통해 환경 가정에 대한 정보를 통합함으로써 사양 정확도와 작업 성공률을 향상시키기 위해.
• Baxter 로봇과 시뮬레이션 환경을 사용하여 실제 환경에서의 피킹-플레이스 작업에 대해 프레임워크를 구현하기 위해.

제안 방법

• 사전에 훈련된 V-DCG 모델을 사용하여 자연어 지시(NLI)를 선형 시간 논리(LTL) 사양으로 변환한다.
• 형식적 합성을 적용하여 LTL 사양이 실현 가능한지 확인하고, 그렇지 않으면 실현 불가능한 조건을 식별한다.
• 문제를 일으키는 환경적 행동을 제한하는 실현 불가능한 사양에서 환경 가정을 추출한다.
• 물리적 물체를 참조하는 자연어 질문(예: '빨간 큐브는 항상 바구니 안에 있는가?')으로 이러한 가정을 자연어 질문으로 번역한다.
• 음성 인식 및 텍스트-음성 변환 파이프라인을 사용하여 물리적 로봇에서 음성 상호작용을 가능하게 한다.
• 사용자가 승인한 가정을 기반으로 재시도한 합성 결과로 검증된 실행 가능한 제어기 생성하기.

실험 결과

연구 질문

• RQ1 로봇은 자연어 지시에서 실현 불가능한 작업 실행을 유도하는 사양 갈등을 어떻게 탐지하고 해결할 수 있는가?
• RQ2 추상적인 논리적 가정을 환경에 대한 인간이 이해할 수 있는 자연어 질의로 효과적으로 번역하는 방법은 무엇인가?
• RQ3 전문 지식이 없는 사용자도 사용할 수 있도록 로봇 주도의 기반된 언어 상호작용이 사양 정확도와 작업 성공률을 향상시킬 수 있는가?
• RQ4 서로 의존적인 동작을 포함한 복잡한 다단계 작업에서 시스템은 사양 복구를 어떻게 처리하는가?
• RQ5 이 프레임워크는 다양한 환경과 지시 코퍼스 간에 얼마나 일반화될 수 있는가?

주요 결과

• 시스템은 두 가지 테이블탑 작업(정렬 및 스택킹)에서 60개의 자연어 지시에 대해 실현 불가능한 사양을 성공적으로 탐지하고 복구하였다.
• 전체 코퍼스에서 훈련 및 테스트한 경우 V-DCG 모델이 60개 지시 중 42개(스택킹 17개, 정렬 25개)를 복구했으며, 별도로 훈련 및 테스트한 경우 21개 중 19개의 스택킹 지시와 39개 중 28개의 정렬 지시를 완전히 추론하였다.
• 공동 지시 코퍼스에서 기호적 요소의 99.9872%를 커버하여 언어적 요소와 물리적 요소를 강력하게 표현하고 있음을 나타냈다.
• 로봇 주도의 상호작용 프레임워크는 맥락 기반 자연어로 가정을 표현함으로써 사용자 전문 지식 의존도를 감소시켰다.
• RGBD 센싱, 운동 계획, 시각적 서보 제어를 사용한 실제 Baxter 로봇에서의 적용을 통해 접근의 타당성을 입증하였다.
• 16개의 시뮬레이션 환경에서의 평가를 통해 다양한 환경 조건에서 사양 복구 과정의 강건성을 확인하였다.