[논문 리뷰] Grounding Spatio-Semantic Referring Expressions for Human-Robot Interaction

Mohit Shridhar, David Hsu|arXiv (Cornell University)|2017. 07. 18.

Multimodal Machine Learning Applications참고 문헌 38인용 수 16

한 줄 요약

이 논문은 인간-로봇 상호작용에서 제약 없는 시공간 의미적 언어 표현을 기반으로 객체를 정렬하기 위한 이단계 신경망 파이프라인을 제안한다. 사전 훈련된 이미지 캡션 모델을 사용하여 먼저 의미적으로 관련 있는 객체를 식별하고, 그 다음으로 공간 관계에 기반하여 정확한 객체를 선택한다. 이 시스템은 RefCOCO에서 최신 기술 수준의 성능을 달성하며, 자연어 지시문을 통해 미리 보지 못한 객체를 음성 명령어로 집고 놓을 수 있도록 한다.

ABSTRACT

The human language is one of the most natural interfaces for humans to interact with robots. This paper presents a robot system that retrieves everyday objects with unconstrained natural language descriptions. A core issue for the system is semantic and spatial grounding, which is to infer objects and their spatial relationships from images and natural language expressions. We introduce a two-stage neural-network grounding pipeline that maps natural language referring expressions directly to objects in the images. The first stage uses visual descriptions in the referring expressions to generate a candidate set of relevant objects. The second stage examines all pairwise relationships between the candidates and predicts the most likely referred object according to the spatial descriptions in the referring expressions. A key feature of our system is that by leveraging a large dataset of images labeled with text descriptions, it allows unrestricted object types and natural language referring expressions. Preliminary results indicate that our system outperforms a near state-of-the-art object comprehension system on standard benchmark datasets. We also present a robot system that follows voice commands to pick and place previously unseen objects.

연구 동기 및 목표

• 로봇이 비정형 환경에서 제약 없는 자연어로 묘사된 객체를 이해하고 실행할 수 있도록 하는 것.
• 사전 정의된 객체 카테고리나 공간 템플릿에 의존하지 않고 참조 표현 내의 의미적 및 공간적 특성을 정렬하는 데 도전하는 것.
• 이미지와 텍스트 데이터만을 사용하여 기존에 보지 못한 객체와 공간 구성에 일반화할 수 있는 시스템을 개발하는 것.
• 실제 인간-로봇 상호작용 시나리오에서 음성 명령어를 사용하여 종단 간 객체 검색 및 조작을 구현하는 것.

제안 방법

• 시스템은 사전 훈련된 이미지 캡션 모델을 사용하여 이미지에서 시각적 기술을 생성하고, 참조 표현의 의미적 내용에 기반해 후보 객체 영역을 도출한다.
• 두 번째 캡션 모델은 시공간 기술(예: '왼쪽 병')에 대해 미세조정되어 후보 객체 간의 공간 관계를 예측한다.
• 파이프라인은 CNN에서 유도된 시각적 특징과 LSTM에서 유도된 언어적 특징을 조합하여 이미지 및 텍스트 입력을 공동 임베딩 공간에 매핑한다.
• 공간 정렬은 학습된 유사도 함수를 사용하여 모든 후보 객체 쌍을 순위 매김함으로써 달성되며, 공간 기술과 가장 잘 일치하는 쌍을 선택한다.
• 최종 출력은 상위 순위 쌍에서 유도된 가장 가능성 있는 참조 객체에 대한 2차원 경계 상자이다.
• 시스템은 6-DOF MICO 로봇 암에 구현되어 음성에서 텍스트로의 변환과 단순한 그립 플래너를 사용하여 집고 놓기 작업을 수행한다.

실험 결과

연구 질문

• RQ1 사전 정의된 객체 클래스 없이 순수하게 이미지 기반의 종단 간 신경망 파이프라인으로 자유형, 개방형 어휘 참조 표현을 정렬할 수 있는가?
• RQ2 기존 방법과 비교해 이단계 캡션 모델 아키텍처가 시공간 의미적 표현 정렬에서 얼마나 잘 성능을 내는가?
• RQ3 훈련 중에 볼 수 없었던 신규 객체와 공간 구성에 일반화할 수 있는가?
• RQ4 실제 인간-로봇 상호작용에서 자연어로 표현된 제약 없는 언어로 얼마나 효과적으로 시스템이 작동하는가?

주요 결과

• 제안된 시스템은 RefCOCO 시공간 의미 정렬 벤치마크에서 최신 기술 수준의 UMD RefExp 모델을 능가한다.
• 사전 훈련된 캡션 모델에서 유도된 시각적 및 의미적 사전 지식을 조합하여 ' Orange 컵 '과 같은 이전에 보지 못한 객체를 성공적으로 식별하고 검색한다.
• 비혼잡한 환경에서 평균 종단 간 지연 시간은 10~20개의 객체가 있는 상황에서 2~5초이다.
• 비공식 사용자 실험에서 높은 사용자 만족도를 달성하였으며, 사용자들은 단순하고 자연스러운 언어로 객체 의도를 신뢰성 있게 전달할 수 있었다.
• 표현에 네 개 이하의 객체 유형과 하나 이하의 공간 관계가 포함되어 있을 경우 시스템의 정렬 정확도가 가장 높다.
• 복잡한 중첩된 공간 관계(예: 'X의 오른쪽이고 Y의 왼쪽')에서 실패 사례가 발생하여 다단계 공간 추론을 모델링하는 데 한계가 있음을 시사한다.