[論文レビュー] Sasha: Creative Goal-Oriented Reasoning in Smart Homes with Large Language Models

Evan King, Haoxiang Yu+2 more|arXiv (Cornell University)|May 16, 2023

AI in Service Interactions参考文献 49被引用数 7

ひとこと要約

要約: 本論文は大規模言語モデルを用いて十分に特定されていないスマートホームの目標を解釈することを調査し、障害モードを特定し、実ユーザー調査で評価された反復推論型スマートホームアシスタント Sasha を提示します。

ABSTRACT

Smart home assistants function best when user commands are direct and well-specified (e.g., "turn on the kitchen light"), or when a hard-coded routine specifies the response. In more natural communication, however, human speech is unconstrained, often describing goals (e.g., "make it cozy in here" or "help me save energy") rather than indicating specific target devices and actions to take on those devices. Current systems fail to understand these under-specified commands since they cannot reason about devices and settings as they relate to human situations. We introduce large language models (LLMs) to this problem space, exploring their use for controlling devices and creating automation routines in response to under-specified user commands in smart homes. We empirically study the baseline quality and failure modes of LLM-created action plans with a survey of age-diverse users. We find that LLMs can reason creatively to achieve challenging goals, but they experience patterns of failure that diminish their usefulness. We address these gaps with Sasha, a smarter smart home assistant. Sasha responds to loosely-constrained commands like "make it cozy" or "help me sleep better" by executing plans to achieve user goals, e.g., setting a mood with available devices, or devising automation routines. We implement and evaluate Sasha in a hands-on user study, showing the capabilities and limitations of LLM-driven smart homes when faced with unconstrained user-generated scenarios.

研究の動機と目的

• LLMs がスマートホームにおける緩やかに制約されたユーザー目標をどのようにサポートできるかを探る。
• LLMs をスマートホーム制御に用いる際の実用的な課題と障害モードを特定する。
• Sasha を開発し、反復推論により行動計画を改善し誤 Target を減らす。
• ハンズオンサのユーザー調査と実世界のデプロイを通じて、LLM 主導のスマートホーム制御を評価する。

提案手法

• ゼロショットプロンプトと JSON 家テンプレートを用いて自然言語命令から実行可能な行動計画を生成するプロトタイプシステム。
• 600 のラベルと自由形式の推論を分析する 20 名の参加者による実証研究で、障害モードと満足度を特定。
• Sasha は反復推論を導入し、LLM を高品質な計画へ誘導し幻覚を減らす。
• 制約のないユーザー命令を用いたテスト住宅で Sasha の実装を行い、現実的なシナリオでの能力と限界を評価。
• 有効な行動計画を保証する後処理を含む、プロンプト設計と JSON ベースの計画立案を活用。

実験結果

リサーチクエスチョン

• RQ1 RQ1: LLMs をスマートホーム制御に用いると、どんな独自の能力が解き放たれるのか。
• RQ2 RQ2: LLM ベースのシステムはどんな実践的な課題を提示するのか。
• RQ3 RQ3: これらの実践的課題に対処できるシステム設計の選択肢は何か。
• RQ4 RQ4: この新しい形のスマートホームは、制約のないシナリオでユーザーの目標をどれくらい達成できるか。

主な発見

• LLMs は十分に特定されていない命令に対しても創造的な行動計画を柔軟に生成できる。
• LLMs は有用性とユーザー満足度を低下させる障害パターンを示す。
• Sasha の反復推論は偽陽性と誤ったデバイスターゲティングを減らす。
• システムはテスト住宅で自動化を通じて即時の目標と高レベルの持続的目標を実現できる。
• 実世界のユーザー調査は、制約のないシナリオ下でのLLM主導のスマートホームの能力と残る制限を示す。