[논문 리뷰] Enabling Robots to Understand Incomplete Natural Language Instructions Using Commonsense Reasoning

Haonan Chen, Hao Tan외 3명|arXiv (Cornell University)|2019. 04. 29.

Topic Modeling참고 문헌 73인용 수 5

한 줄 요약

이 논문은 언어모델 기반 공통지식 추론(LMCR)을 소개한다. 이 방법은 환경적 맥락과 웹 규모의 문장집합으로 미리 훈련된 보정된 언어모델을 활용해 부족한 의미 역할을 채워 넣는 방식으로, 자연어 지시문의 불완전한 부분을 해석할 수 있도록 도와준다. LMCR는 예를 들어 '내게 물 좀 따르라'와 같은 지시문에서 목적지와 같은 누락된 인자들을 공통지식 지식을 활용해 높은 정확도로 해결함으로써, 시뮬레이션 환경과 실제 로봇 작업 모두에서 뛰어난 성능을 보여준다.

ABSTRACT

Enabling robots to understand instructions provided via spoken natural language would facilitate interaction between robots and people in a variety of settings in homes and workplaces. However, natural language instructions are often missing information that would be obvious to a human based on environmental context and common sense, and hence does not need to be explicitly stated. In this paper, we introduce Language-Model-based Commonsense Reasoning (LMCR), a new method which enables a robot to listen to a natural language instruction from a human, observe the environment around it, and automatically fill in information missing from the instruction using environmental context and a new commonsense reasoning approach. Our approach first converts an instruction provided as unconstrained natural language into a form that a robot can understand by parsing it into verb frames. Our approach then fills in missing information in the instruction by observing objects in its vicinity and leveraging commonsense reasoning. To learn commonsense reasoning automatically, our approach distills knowledge from large unstructured textual corpora by training a language model. Our results show the feasibility of a robot learning commonsense knowledge automatically from web-based textual corpora, and the power of learned commonsense reasoning models in enabling a robot to autonomously perform tasks based on incomplete natural language instructions.

연구 동기 및 목표

• 로봇이 공통지식과 환경적 맥락에 의존하는 불완전한 자연어 지시문을 이해할 수 있도록 하는 것.
• 지시문에서 부족한 의미 역할을 자동으로 식별하고 주변 물체 및 공통지식 지식을 활용해 채우는 방법을 개발하는 것.
• 대규모 비정형 텍스트에서 학습된 언어모델을 통해 수동으로 주석을 달지 않고도 공통지식 추론을 학습하는 것.
• 모의 환경과 실제 로봇(Baxter)에서의 평가를 통해 실세계 적용 가능성을 검증하는 것.
• 웹 규모의 언어모델 사전학습이 일상적인 작업에서 로봇 지시 이해를 효과적으로 지원할 수 있음을 보여주는 것.

제안 방법

• 자연어 지시문을 동사 프레임으로 구조화하여, 동사(예: '따르다')와 의미 역할(예: 주어, 목적지)을 포함하고, 누락된 인자에 대한 자리표시자(플레이스홀더)를 포함시킨다.
• 대규모 텍스트 데이터셋(예: YouCook2, NYC)에서 훈련된 신경망 언어모델을 사용해 누락된 역할에 대한 후보 완성의 확률을 추정한다.
• 물리적으로 타당한 후보를 위해 로봇의 주변 환경에서 감지된 물체에 국한시킨다.
• 신뢰도가 낮은 예측을 걸러내고 시스템의 강건성을 높이기 위해 타당성 임계값 λ를 적용한다.
• 문장 기반 및 프레임 기반 선형화 전략을 사용해 언어모델을 훈련하며, 후자의 경우 종료형 학습 방식으로 인해 더 우수한 성능을 보였다.
• 실시간 실행을 위해 음성 인식, 물체 감지, 운동 계획 모듈을 포함한 로봇 시스템에 LMCR 파이프라인을 통합한다.

실험 결과

연구 질문

• RQ1 로봇이 의미 역할이 누락된 탓으로 자연어 지시문이 불완전한지 자동으로 감지할 수 있는가?
• RQ2 웹 규모의 텍스트에서 훈련된 언어모델이 환경적 맥락을 활용해 로봇 지시문의 누락된 인자를 효과적으로 추론할 수 있는가?
• RQ3 LMCR의 성능은 다양한 작업 복잡도 수준에서 기준 방법과 비교해 어떻게 다른가?
• RQ4 예를 들어 요리 데이터셋 등 다양한 대규모 텍스트 데이터셋에서의 훈련이 수동 주석이 달린 데이터셋보다 공통지식 추론 성능을 향상시키는가?
• RQ5 다른 물체의 수와 타당성 임계값의 변화에 대해 시스템은 얼마나 강건한가?

주요 결과

• LMCR는 모든 테스트 설정에서 기준 방법보다 높은 전체 정확도를 기록하며, 불완전한 지시문에서 누락된 인자를 해결하는 데 가장 높은 성공률을 보였다.
• k=6개의 물체와 λ=1.0일 때, LMCR는 인간 주석이 달린 테스트 세트에서 전체 정확도 87.2%를 기록했으며, 다음으로 우수한 방법보다 10个百分点 이상 높았다.
• 문장 기반 언어모델 훈련 전략이 프레임 기반 훈련보다 우수했으며, 희귀 동사를 더 잘 다루고 오류 전파를 줄였기 때문이다. 문장 기반 훈련은 87.2%의 정확도를 기록했고, 프레임 기반은 82.1%였다.
• YouCook2와 NYC 데이터셋을 병합해 훈련한 결과, YouCook2만 사용한 것보다 성능이 향상되었으며, 이는 더 큰, 더 노이즈가 많은 데이터셋이 효과적인 모델링과 함께라면 여전히 추론 성능을 향상시킬 수 있음을 시사한다.
• 로봇이 말로 전달된 불완전한 지시문(예: '내게 물 좀 따르라')을 사용해 Baxter 로봇에서 작업을 성공적으로 수행함으로써, 실세계 적용 가능성도 입증되었다.
• 민감도 분석 결과, 시나리오당 물체 수가 4개에서 40개로 증가해도 LMCR는 높은 정확도를 유지했으며, 환경의 복잡성에 강건함을 입증했다.