[論文レビュー] CLARA: Classifying and Disambiguating User Commands for Reliable Interactive Robotic Agents

Jeongeun Park, Seungwon Lim+5 more|arXiv (Cornell University)|Jun 17, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、状況認識を備えた大規模言語モデル（LLM）を用いて、ユーザーの指示を明確、曖昧、実行不能の3種類に分類するCLARAというフレームワークを提案する。曖昧な命令については、LLMが生成する質問によって解釈を明確化する。本フレームワークは、新規のベンチマークデータセットおよび実世界のロボットインタラクションにおいて、不確実性分類（AUROC 0.89）と解釈の成功確率（0.75）の両面で優れた性能を発揮した。

ABSTRACT

In this paper, we focus on inferring whether the given user command is clear, ambiguous, or infeasible in the context of interactive robotic agents utilizing large language models (LLMs). To tackle this problem, we first present an uncertainty estimation method for LLMs to classify whether the command is certain (i.e., clear) or not (i.e., ambiguous or infeasible). Once the command is classified as uncertain, we further distinguish it between ambiguous or infeasible commands leveraging LLMs with situational aware context in a zero-shot manner. For ambiguous commands, we disambiguate the command by interacting with users via question generation with LLMs. We believe that proper recognition of the given commands could lead to a decrease in malfunction and undesired actions of the robot, enhancing the reliability of interactive robot agents. We present a dataset for robotic situational awareness, consisting pair of high-level commands, scene descriptions, and labels of command type (i.e., clear, ambiguous, or infeasible). We validate the proposed method on the collected dataset, pick-and-place tabletop simulation. Finally, we demonstrate the proposed approach in real-world human-robot interaction experiments, i.e., handover scenarios.

研究の動機と目的

• ユーザーの指示を明確、曖昧、実行不能のタイプに分類することで、インタラクティブロボットエージェントの信頼性を向上させること。
• 実世界のロボット環境における曖昧または実行不能な命令の解釈という課題に対処すること。
• 状況的文脈を活用するゼロショットのLLMベース手法を考案し、不確実性の分類を行うこと。
• 曖昧な命令に対して自由形式の質問生成により、動的解釈を可能とすること。
• ロボット命令理解における状況認識の評価を目的とした新規ベンチマークデータセットの構築こと。

提案手法

• LLM出力における予測不確実性を推定することで、明確な命令と不確実な命令（曖昧または実行不能）を区別する。
• 状況的文脈を根拠としたゼロショットLLM推論を用い、不確実な命令を曖昧または実行不能のいずれに分類するかを判断する。
• 曖昧な命令に対しては、LLMを介して自由形式の質問を生成し、ユーザーからの明確化を引き出すことで、反復的解釈を可能にする。
• 不確実性推定と状況認識を統合した一貫したパイプラインを構築し、信頼性の高い命令解釈を実現する。
• 分類と質問生成にGPT-3.5-turboおよびInstructGPTモデルを活用し、微調整を一切行わずAPIベースの推論に依存する。
• 評価のため、高水準の命令、シーンの記述、不確実性タイプのアノテーションを含む新規データセットSaGCを構築した。

Figure 1: Task Explanation of the proposed method. We aim to classify the user’s command with awareness of the given environment and robot’s configuration. In particular, with the same command like He looks tired , we aim the classify the command into different types of uncertainty based on differen

実験結果

リサーチクエスチョン

• RQ1 LLMは、ユーザーの命令における不確実性を効果的に推定でき、明確な命令と曖昧または実行不能な命令を区別できるか？
• RQ2 状況的文脈に根ざしたゼロショットLLMは、不確実な命令を曖昧または実行不能に分類する際に、どの程度の性能を示すか？
• RQ3 LLMベースの質問生成は、人間-ロボットインタラクションにおける解釈の成功にどの程度寄与するか？
• RQ4 本手法は、命令の不確実性分類および実世界のインタラクション処理において、ベースラインと比較してどの程度優れているか？
• RQ5 本フレームワークは、原始的で曖昧な入力に対しても一般化可能であり、実世界のロボットシステムにおける反復的解釈をサポートできるか？

主な発見

• 提案手法は、明確な命令と不確実な命令を区別する際、AUROC 0.89を達成し、ベースラインを0.018上回った。
• 不確実性タイプの分類において、GPT-3.5-turboおよびInstructGPTの両方で、ベースラインより0.17の高い正確度を達成した。
• 解釈のプロセスにより、成功確率がベースライン比平均0.05向上し、最適なインタラクションタイミング（0.23の差）を示した。
• 「彼は眠そうに見える」のような原始的・曖昧な入力に対しても、システムは正常に処理でき、ユーザーが不完全な情報を提供した場合でも反復的解釈が可能であった。
• 実世界のデモンストレーションにより、GPT-3.5-turboはより多くの質問を生成することで高い成功を示した一方、InstructGPTは質問数を減らしたいユーザーにとってバランスの取れた選択肢となった。
• 制限事項として、実行可能性予測における幻覚現象や、複数の欠落情報を持つ命令に対して多面的質問を生成できない点が挙げられる。

Figure 2: Proposed Method. Our method involves estimating uncertainty with LLMs via context sampling to distinguish between certain and uncertain commands. We then leverage situational awareness to classify uncertain commands into ambiguous and infeasible categories, followed by a disambiguation pro