[논문 리뷰] Learning about End-User Development for Smart Homes by "Eating Our Own Dog Food"

Joëlle Coutaz, James L. Crowley|arXiv (Cornell University)|2015. 10. 05.

Spreadsheets and End-User Computing참고 문헌 3인용 수 3

한 줄 요약

이 논문은 비기술적 사용자가 직관적인 사용자 중심 인터페이스를 통해 스마트 홈 기기를 모니터링하고 제어하며 설정할 수 있도록 해주는 엔드유저 개발 환경인 SPOK을 제시한다. 연구 팀은 4개월 이상 자신의 집에서 SPOK을 구동하면서 사용성, 워크플로 통합, 장기적 사용자 참여도에 대한 핵심 통찰을 확보하였으며, 엔드유저를 위한 접근 가능한 스마트 홈 시스템을 설계할 때 '자신의 개발한 제품을 직접 사용하는 것'(eating your own dog food)의 가치를 입증하였다.

ABSTRACT

SPOK is an End-User Development Environment that permits people to monitor, control, and configure smart home services and devices. SPOK has been deployed for more than 4 months in the homes of 5 project team members for testing and refinement, prior to longitudinal experiments in the homes of families not involved in the project. This article reports on the lessons learned in this initial deployment.

연구 동기 및 목표

• 실제 가정 환경에서 엔드유저 개발 환경의 사용성과 장기적 타당성을 평가하기 위해.
• 프로그래밍 없이도 비기술적 사용자가 IoT 기기를 설정하고 관리하는 데 있어 발생하는 과제와 기회를 규명하기 위해.
• 팀원들이 집에서 시스템을 실제로 사용하면서의 경험을 바탕으로 SPOK을 개선하기 위해.
• 실제 사용 패턴을 관찰함으로써 IoT 시대의 엔드유저 개발 도구 설계에 대한 통찰을 제공하기 위해.
• 사용자가 의도한 바와 같이 시스템을 직접 사용함으로써 '자신의 개발한 제품을 직접 사용하는 것'이 엔드유저 개발 도구의 설계 개선을 위한 실질적인 통찰을 제공할 수 있는지 탐색하기 위해.

제안 방법

• 프로젝트 팀원 다섯 명의 집에 SPOK을 4개월 이상 설치하여 실생활 평가를 수행한 바.
• SPOK의 시각적 이벤트 기반 인터페이스를 활용해 사용자가 코드 없이 스마트 홈 자동화를 생성하고 수정할 수 있도록 한 바.
• 팀원들이 일상적인 상호작용 중에 기록한 질적 피드백과 사용 로그를 수집한 바.
• 관찰된 사용자 행동, 오류, 워크플로우 장애 등을 바탕으로 SPOK을 반복적으로 개선한 바.
• 기기 탐색, 서비스 조합, 설정 지속성 등 일상적 맥락에서의 엔드유저 경험에 집중한 바.
• 모니터링, 제어, 스마트 홈 서비스 설정을 지원하기 위해 엔드유저 개발 원칙을 적용한 바.

실험 결과

연구 질문

• RQ1 비기술적 사용자가 실생활 가정 환경에서 노코드 스마트 홈 설정 환경을 어떻게 활용하는가?
• RQ2 장기간에 걸쳐 엔드유저가 복잡한 기기 간 상호작용을 관리할 때 나타나는 사용성 과제는 무엇인가?
• RQ3 엔드유저 개발 도구의 실생활 장기 사용이 실험실 환경에서는 발견되지 않은 설계 결함을 어떻게 드러내는가?
• RQ4 시스템을 직접 사용한 개인적 경험은 엔드유저 수용을 위한 개선 사항을 식별하는 데 어떤 역할을 하는가?
• RQ5 '자신의 개발한 제품을 직접 사용하는 것'이 스마트 홈을 위한 엔드유저 개발 도구를 개선하는 데 유효한 방법으로 작용할 수 있는가?

주요 결과

• 팀원들은 빈번한 설정 이격(configuration drift)를 경험했으며, 반복적인 재설정이 필요함을 확인하여 사용자가 만든 스마트 홈 워크플로우의 취약성을 드러냈다.
• 특히 동일한 유형의 기기가 여러 대 존재할 경우 기기 탐색과 이름 지정에 어려움을 겪었다.
• 자동화 규칙에 지속적이고 인간이 이해할 수 있는 논리가 없어 장기 사용 중 혼란과 오류가 발생했다.
• 사용자들은 텍스트 기반 또는 명령줄 인터페이스보다 시각적 드래그앤드롭 방식의 규칙 조합을 선호했다.
• 실생활 사용을 통해 사용자들이 디버깅하거나 수정하기 어려운 과도하게 복잡한 자동화를 자주 생성하는 것으로 드러났다.
• 팀원들이 직접 엔드유저로 사용하면서 핵심 UX 문제를 발견하였으며, 이는 규칙 실행에 대한 피드백 부족과 부적절한 오류 복구 메커니즘 등이 포함되었다.