[논문 리뷰] Sasha: Creative Goal-Oriented Reasoning in Smart Homes with Large Language Models

Evan King, Haoxiang Yu외 2명|arXiv (Cornell University)|2023. 05. 16.

AI in Service Interactions참고 문헌 49인용 수 7

한 줄 요약

본 논문은 대형 언어 모델을 이용해 불충분하게 명시된 스마트 홈 목표를 해석하는 방법을 연구하고, 실패 모드를 식별하며, 실사용자 연구에서 평가된 반복 추론형 스마트 홈 어시스턴트 Sasha를 제시한다.

ABSTRACT

Smart home assistants function best when user commands are direct and well-specified (e.g., "turn on the kitchen light"), or when a hard-coded routine specifies the response. In more natural communication, however, human speech is unconstrained, often describing goals (e.g., "make it cozy in here" or "help me save energy") rather than indicating specific target devices and actions to take on those devices. Current systems fail to understand these under-specified commands since they cannot reason about devices and settings as they relate to human situations. We introduce large language models (LLMs) to this problem space, exploring their use for controlling devices and creating automation routines in response to under-specified user commands in smart homes. We empirically study the baseline quality and failure modes of LLM-created action plans with a survey of age-diverse users. We find that LLMs can reason creatively to achieve challenging goals, but they experience patterns of failure that diminish their usefulness. We address these gaps with Sasha, a smarter smart home assistant. Sasha responds to loosely-constrained commands like "make it cozy" or "help me sleep better" by executing plans to achieve user goals, e.g., setting a mood with available devices, or devising automation routines. We implement and evaluate Sasha in a hands-on user study, showing the capabilities and limitations of LLM-driven smart homes when faced with unconstrained user-generated scenarios.

연구 동기 및 목표

• LLM이 스마트 홈에서 느슨하게 제약된 사용자 목표를 어떻게 지원할 수 있는지 탐구한다.
• 스마트 홈 제어에 LLM을 사용할 때의 실용적 도전과 실패 모드를 식별한다.
• 작업 계획을 개선하고 오표적화를 줄이기 위해 반복 추론을 갖춘 Sasha를 개발한다.
• 실무형 사용자 연구와 실제 배치를 통해 LLM 기반 스마트 홈 제어를 평가한다.

제안 방법

• 프로토타입 시스템은 자연어 명령으로부터 실행 가능한 행동 계획을 생성하기 위해 JSON 홈 템플릿과 제로샷 프롬트를 사용한다.
• 20명의 참가자를 대상으로 한 실증 연구에서 600개의 라벨과 자유형 합리화를 분석하여 실패 모드와 만족도 수준을 식별한다.
• Sasha는 LLM이 고품질 계획으로 이끌고 환각을 줄이도록 반복 추론을 도입한다.
• 제약 없는 사용자 명령을 가진 테스트 주택에서 Sasha를 구현하여 현실적 시나리오에서의 능력과 한계를 평가한다.
• 프롬프트 엔지니어링과 JSON 기반 계획 수립 및 실행 가능한 행동 계획을 보장하기 위한 후처리를 사용한다.

실험 결과

연구 질문

• RQ1 RQ1: LLM이 스마트 홈 제어에 사용될 때 어떤 고유한 기능이 열리는가?
• RQ2 RQ2: LLM 기반 시스템이 제시하는 실용적 도전은 무엇인가?
• RQ3 RQ3: 이러한 실용적 도전에 대응할 수 있는 시스템 설계 선택은 무엇인가?
• RQ4 RQ4: 이 새로운 형태의 스마트 홈이 제약 없이 흐르는 시나리오에서 사용자 목표를 얼마나 잘 지원할 수 있는가?

주요 결과

• LLMs는 불충분하게 명시된 명령에 대응하여 창의적인 실행 계획을 유연하게 생성할 수 있다.
• LLMs는 유용성 및 사용자 만족도를 떨어뜨리는 실패 패턴을 보인다.
• Sasha의 반복 추론은 거짓 긍정(false positives)과 기기 타깃의 오류를 줄인다.
• 시스템은 테스트 주택에서 자동화를 통해 즉시 목표와 더 높은 수준의 지속적 목표를 달성할 수 있다.
• 실제 사용자 연구는 제약 없는 시나리오에서 LLM 기반 스마트 홈의 기능과 남은 한계를 입증한다.