[논문 리뷰] Interactively Picking Real-World Objects with Unconstrained Spoken Language Instructions

Jun Hatori, Yuta Kikuchi외 6명|arXiv (Cornell University)|2017. 10. 17.

Multimodal Machine Learning Applications참고 문헌 23인용 수 13

한 줄 요약

이 논문은 실제 환경에서 자유로운 말하기 언어 지시어를 해석하기 위한 최초의 엔드 투 엔드 로봇 시스템을 제안한다. 깊이 학습 기반의 물체 검출 및 자연어 이해를 대화 기반 상호작용을 통해 모호성을 해소하는 데 통합하였다. 물리적 로봇 암을 사용하여 30%의 미사용 물체가 포함된 상황에서도 73.1%의 엔드 투 엔드 성공률을 달성하였으며, 인간-로봇 대화를 통해 모호한 지시어를 동적으로 명확화하였다.

ABSTRACT

Comprehension of spoken natural language is an essential component for robots to communicate with human effectively. However, handling unconstrained spoken instructions is challenging due to (1) complex structures including a wide variety of expressions used in spoken language and (2) inherent ambiguity in interpretation of human instructions. In this paper, we propose the first comprehensive system that can handle unconstrained spoken language and is able to effectively resolve ambiguity in spoken instructions. Specifically, we integrate deep-learning-based object detection together with natural language processing technologies to handle unconstrained spoken instructions, and propose a method for robots to resolve instruction ambiguity through dialogue. Through our experiments on both a simulated environment as well as a physical industrial robot arm, we demonstrate the ability of our system to understand natural instructions from human operators effectively, and how higher success rates of the object picking task can be achieved through an interactive clarification process.

연구 동기 및 목표

• 로봇이 일상적인 인간 소통에서 사용되는 자연스럽고 제약 없는 말하기 언어를 이해하고 수행할 수 있도록 하기.
• 다양한 물체가 존재하는 혼잡한 실제 환경에서 발생하는 인간 지시의 본질적 모호성 문제를 해결하기.
• 대화 기반 상호작용을 통해 인간과 유사한 의사소통 방식으로 물체 참조를 명확히 하는 시스템을 개발하기.
• 사전 클래스 레이블이나 재학습 없이도 새로운 물체에 대해 강건한 제로샷 일반화를 달성하기.
• 언어와 물체 외관의 변동성이 큰 시뮬레이션 및 실제 물리적 로봇 환경에서 시스템의 효과성을 입증하기.

제안 방법

• 최신 딥 러닝 모델을 활용해 물체 검출 및 참조 표현 이해 기능을 통합된 파이프라인으로 통합하기.
• 물체 클래스 레이블을 명시적으로 제공하지 않도록 參조 표현 모델을 수정하여, 새로운 물체에 대한 제로샷 인식을 가능하게 하기.
• ImageNet으로 사전 훈련된 CNN 특징을 기반으로 훈련된 비전-언어 모델을 사용하여 다양한 물체 외관에 일반화할 수 있도록 하기.
• 여러 후보 물체가 존재할 경우 로봇이 능동적으로 명확화를 요청하는 대화 기반 명확화 메커니즘을 구현하기.
• 구두 피드백(예: '어느 건가요?')과 시각적 피드백(예: 후보 물체 강조)을 결합하여 상호작용 중 인간의 이해를 지원하기.
• 언어에 종속되지 않은 아키텍처를 설계하여 향후 공통 지식 전이를 통해 다국어 지원이 가능하도록 하기.

실험 결과

연구 질문

• RQ1 사전 정의된 템플릿 없이 실제 환경에서 자유로운 구어체 언어 지시어를 효과적으로 해석할 수 있는 로봇 시스템이 가능한가?
• RQ2 여러 물체가 설명과 일치할 경우 대화 기반 상호작용이 모호성을 얼마나 효과적으로 해소하는가?
• RQ3 세부 조정 없이도 클래스 레이블 없이 비전-언어 모델이 새로운 물체에 얼마나 잘 일반화되는가?
• RQ4 환경적 변동성(예: 조도, 색상 인식 차이)이 실제 구현 시 성능에 어떤 영향을 미치는가?
• RQ5 기존 물체와 새로운 물체가 혼합된 상황에서 물리적 로봇 작업에서 높은 정확도와 성공률를 유지할 수 있는가?

주요 결과

• 실제 환경에서 높은 시각적 및 언어적 변동성이 존재하는 상황에서 물리적 로봇 암을 사용해 목표 물체 선택에 대해 75.3%의 top-1 정확도를 달성하였다.
• 모든 테스트 사례를 포함해 피킹 및 놓기 작업의 엔드 투 엔드 성공률은 73.1%였다. 이는 검출 실패 경우도 포함되었다.
• 테스트 세트에 30%의 미사용 물체가 혼합된 상황에서도 시스템은 67.6%의 성공률을 유지하여 강력한 일반화 능력을 입증하였다.
• 대화 기반 명확화 메커니즘이 비대화 기반 기준 대비 목표 물체 선택 오류를 39% 감소시켰다.
• 목적 상자 선택 정확도는 97.3%에 도달하여 지시어의 공간 기반 정확도가 매우 높다는 것을 보여주었다.
• 조도 및 카메라 차이로 인한 색상 인식 오류가 주요 오류 원인이었으며, 특히 '오렌지'와 '빨간색' 같은 색상 기반 참조에서 뚜렷하게 영향을 미쳤다.