[논문 리뷰] CLARA: Classifying and Disambiguating User Commands for Reliable Interactive Robotic Agents

Jeongeun Park, Seungwon Lim외 5명|arXiv (Cornell University)|2023. 06. 17.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 대화적 상황 인식 기능을 갖춘 대규모 언어 모델(Large Language Models, LLMs)을 사용하여 사용자 명령어를 명확한, 모호한, 또는 이행 불가능한 것으로 분류하고, 모호한 명령어에 대해 LLM이 생성한 질문을 통해 해소하는 CLARA라는 프레임워크를 제안한다. 이 프레임워크는 새로운 벤치마크 데이터셋과 실제 로봇 상호작용 환경에서 불확실성 분류 성능(AUROC 0.89)과 해소 성공률(0.75)에서 뛰어난 성능을 기록한다.

ABSTRACT

In this paper, we focus on inferring whether the given user command is clear, ambiguous, or infeasible in the context of interactive robotic agents utilizing large language models (LLMs). To tackle this problem, we first present an uncertainty estimation method for LLMs to classify whether the command is certain (i.e., clear) or not (i.e., ambiguous or infeasible). Once the command is classified as uncertain, we further distinguish it between ambiguous or infeasible commands leveraging LLMs with situational aware context in a zero-shot manner. For ambiguous commands, we disambiguate the command by interacting with users via question generation with LLMs. We believe that proper recognition of the given commands could lead to a decrease in malfunction and undesired actions of the robot, enhancing the reliability of interactive robot agents. We present a dataset for robotic situational awareness, consisting pair of high-level commands, scene descriptions, and labels of command type (i.e., clear, ambiguous, or infeasible). We validate the proposed method on the collected dataset, pick-and-place tabletop simulation. Finally, we demonstrate the proposed approach in real-world human-robot interaction experiments, i.e., handover scenarios.

연구 동기 및 목표

• 사용자 명령어를 명확한, 모호한, 또는 이행 불가능한 유형으로 분류함으로써 상호작용 기반 로봇 에이전트의 신뢰성을 향상시키기.
• 실제 로봇 환경에서 모호하거나 이행 불가능한 명령어를 해석하는 데 도전하는 문제를 해결하기.
• 상황적 맥락을 활용하여 불확실성 분류를 위한 제로샷 기반 LLM 기반 방법을 개발하기.
• 모호한 명령어에 대해 자유형 질문 생성을 통해 동적 해소 기능을 제공하기.
• 로봇 명령어 이해에서의 상황 인식 평가를 위한 새로운 벤치마크 데이터셋을 구축하기.

제안 방법

• LLM 출력의 예측 불확실성을 추정하여 명확한 명령어와 불확실한 명령어(모호하거나 이행 불가능한 명령어)를 구분한다.
• 상황적 맥락에 기반한 제로샷 LLM 추론을 사용하여 불확실한 명령어를 모호하거나 이행 불가능한 것으로 분류한다.
• 모호한 명령어의 경우, LLM을 통해 자유형 질문을 생성하여 사용자로부터 명확화를 유도함으로써 반복적 해소를 가능하게 한다.
• 불확실성 추정과 상황 인식을 통합된 파이프라인으로 통합하여 신뢰성 있는 명령어 해석을 실현한다.
• 분류 및 질문 생성에 대해 GPT-3.5-turbo와 InstructGPT 모델을 활용하며, 미세조정 없이 API 기반 추론에 의존한다.
• 평가를 위해 고수준 명령어, 시나리오 기술, 불확실성 유형 레이블이 포함된 새로운 데이터셋 SaGC를 구축하였다.

Figure 1: Task Explanation of the proposed method. We aim to classify the user’s command with awareness of the given environment and robot’s configuration. In particular, with the same command like He looks tired , we aim the classify the command into different types of uncertainty based on differen

실험 결과

연구 질문

• RQ1 LLM은 사용자 명령어의 불확실성을 효과적으로 추정하여 명확한 명령어와 모호하거나 이행 불가능한 명령어를 구분할 수 있는가?
• RQ2 상황적 맥락에 기반한 제로샷 LLM은 불확실한 명령어를 모호하거나 이행 불가능한 것으로 분류하는 데 얼마나 잘 성능을 내는가?
• RQ3 LLM 기반 질문 생성은 인간-로봇 상호작용에서 해소 성공률을 얼마나 향상시키는가?
• RQ4 제안된 방법은 명령어 불확실성 분류 및 실제 상호작용 처리에서 기준 모델 대비 어떻게 비교되는가?
• RQ5 제안된 프레임워크는 원시적이고 모호한 입력에 일반화되어 있으며, 실제 로봇 시스템에서 반복적 해소를 지원할 수 있는가?

주요 결과

• 제안된 방법은 명확한 명령어와 불확실한 명령어를 구분하는 데 AUROC 0.89를 달성하여 기준 모델보다 0.018 높은 성능을 기록하였다.
• 불확실성 유형 분류에서, GPT-3.5-turbo와 InstructGPT 양쪽 모두 기준 모델 대비 0.17 높은 정확도를 기록하였다.
• 해소 과정을 통해 성공률이 기준 모델 대비 평균 0.05 향상되었으며, 최적의 상호작용 타이밍에서 0.23의 격차를 보였다.
• 시스템은 "그는 지쳐 보인다"와 같은 원시적이고 모호한 입력을 성공적으로 처리했으며, 사용자가 정보를 완전히 제공하지 않을 경우에도 반복적 해소를 수행하였다.
• 실제 환경에서의 시연 결과, GPT-3.5-turbo는 더 많은 질문 생성으로 높은 성공률를 보였고, InstructGPT는 덜 많은 질문을 원하는 사용자에게 더 균형 잡힌 성능을 제공하였다.
• 한계점으로는 타당성 예측에서 환상적 생성(Hallucination)이 발생하고, 다중 부족 정보를 가진 명령어에 대해 다면적 질문 생성에 실패하는 점이 있다.

Figure 2: Proposed Method. Our method involves estimating uncertainty with LLMs via context sampling to distinguish between certain and uncertain commands. We then leverage situational awareness to classify uncertain commands into ambiguous and infeasible categories, followed by a disambiguation pro