[論文レビュー] "Get ready for a party": Exploring smarter smart spaces with help from large language models

Evan King, Haoxiang Yu+2 more|arXiv (Cornell University)|Mar 24, 2023

Context-Aware Activity Recognition Systems被引用数 7

ひとこと要約

本論文では、GPT-3 などの大規模言語モデル（LLM）をスマートホームの中心制御装置として使用し、"パーティーの準備をしよう" などの曖昧なコマンドから意図を推定し、微調整なしにデバイス制御アクションを生成する手法を提案する。プロトタイプシステムの実装では、GPT-3 が自然言語を解釈し、具体的なデバイス状態変更（例：照明の点灯やステレオの起動）にマッピングし、API を介して実際のデバイスを制御する。これは、文脈に応じたスマート空間インタラクションにおけるゼロショット能力を示している。

ABSTRACT

The right response to someone who says "get ready for a party" is deeply influenced by meaning and context. For a smart home assistant (e.g., Google Home), the ideal response might be to survey the available devices in the home and change their state to create a festive atmosphere. Current practical systems cannot service such requests since they require the ability to (1) infer meaning behind an abstract statement and (2) map that inference to a concrete course of action appropriate for the context (e.g., changing the settings of specific devices). In this paper, we leverage the observation that recent task-agnostic large language models (LLMs) like GPT-3 embody a vast amount of cross-domain, sometimes unpredictable contextual knowledge that existing rule-based home assistant systems lack, which can make them powerful tools for inferring user intent and generating appropriate context-dependent responses during smart home interactions. We first explore the feasibility of a system that places an LLM at the center of command inference and action planning, showing that LLMs have the capacity to infer intent behind vague, context-dependent commands like "get ready for a party" and respond with concrete, machine-parseable instructions that can be used to control smart devices. We furthermore demonstrate a proof-of-concept implementation that puts an LLM in control of real devices, showing its ability to infer intent and change device state appropriately with no fine-tuning or task-specific training. Our work hints at the promise of LLM-driven systems for context-awareness in smart environments, motivating future research in this area.

研究の動機と目的

• LLM が "パーティーの準備をしよう" や "疲れた" といった文脈依存の曖昧なスマートホームコマンドの背後にある意図を推定できるかどうかを調査すること。
• タスク固有のトレーニングや微調整なしに、機械で解析可能な、実行可能なデバイス制御命令を生成できるかどうかを評価すること。
• 自然言語入力に基づき、GPT-3 を用いて直接 API を介して実際のスマートデバイスを制御するプロトタイプシステムを構築し、検証すること。
• LLM の信頼性に関する課題、例えば一貫性のないまたは無効な応答の問題を特定し、堅牢な展開のための設計改善を提案すること。

提案手法

• システムはプロンプト工学のアプローチを採用し、LLM にデバイス情報（例：デバイスタイプ、ID、サポートされる状態）とユーザーの自然言語コマンドを含む構造化された文脈プロンプトを提供する。
• LLM は、どのデバイスを変更するか、およびその状態をどのように変更するか（例：照明を "colorloop" に設定、ステレオを "on" に設定）を指定する JSON 形式のアクションプランを生成するようプロンプトされる。
• 生成された JSON 出力は、直接デバイス API（例：Philips Hue や Sonos）に送信され、リアルタイムで意図されたアクションが実行される。
• 微調整や後処理は一切適用されておらず、モデルはプロンプトとデバイスの文脈のみを用いてゼロショットモードで動作する。
• 複数のコマンドにわたって応答を評価し、一貫性、正しさ、意味的適切さを分析する。
• 実装では GPT-3（おそらく davinci-003 または同等）が使用され、実際のデバイス API と統合され、エンドツーエンドの機能性が検証された。

実験結果

リサーチクエスチョン

• RQ1 タスク固有のトレーニングなしに、ゼロショットの LLM が "パーティーの準備をしよう" などの抽象的・曖昧なスマートホームコマンドの意図を推定できるか？
• RQ2 LLM が直接実行可能な、機械で読み取り可能なデバイス制御命令（例：JSON）を生成できるか？
• RQ3 多様なコマンドやデバイス構成において、LLM の応答は一貫性があり、意味的に適切か？
• RQ4 LLM が誤ったまたは無効なデバイス状態変更を引き起こす可能性がある場合、スマートホーム制御におけるその限界は何か？
• RQ5 LLM が一見妥当だが誤った応答を生成する傾向にある場合、それを管理するためのシステムレベルの設計パターンはどのように開発できるか？

主な発見

• LLM は "パーティーの準備をしよう" といったコマンドを正しく解釈し、ステレオの起動や Hue 照明の "colorloop" 効果への設定といった有効な制御アクションを生成した。
• "出発する" というコマンドに対して、モデルは利用可能なすべてのデバイスをオフにする応答を正しく生成し、ユーザーの意図を認識していることを示した。
• "ここを明るくして" というコマンドに対しては、照明をフル明るさに設定する適切な応答を出力した。同様に "寒い" というコマンドに対しては、照明を温白色に設定する応答を生成した。
• 応答の品質にはばらつきがあり、一部の応答には無効なフィールド（例：ステレオが対応しない "genre" フィールドの追加）が含まれており、出力の信頼性に一貫性がないことが判明した。
• LLM の出力のみを用いて直接 API を介して実際のデバイスを制御することができ、微調整や後処理なしに実現可能であることを実証した。
• 研究では、LLM が新しいコマンドにうまく一般化できる一方で、自身の不確実性を認識していないことが判明し、生産環境では堅牢な検証メカニズムの導入が不可欠であることが示された。