[논문 리뷰] Building Proactive Voice Assistants: When and How (not) to Interact

Ondrej Miksik, I. Munasinghe외 18명|arXiv (Cornell University)|2020. 05. 04.

AI in Service Interactions참고 문헌 38인용 수 4

한 줄 요약

이 논문은 시각적 인식, 개인화 및 공간 AI를 기반으로 하여 맥락에 민감하게 반응하고, 시기적절하고 간섭이 없는 정보를 제공하는 프로아크티브 음성 보조자에 대한 프레임워크를 제안한다. 저자들은 프로토타입과 사용자 연구를 통해 설계의 타당성을 검증하였으며, 사생활 보호가 핵심적인 우려 사항임을 확인하였고, 사용자들은 간섭이 없고 맥락에 맞는 경우에만 프로아크티브 보조자가 유용하다고 평가한다.

ABSTRACT

Voice assistants have recently achieved remarkable commercial success. However, the current generation of these devices is typically capable of only reactive interactions. In other words, interactions have to be initiated by the user, which somewhat limits their usability and user experience. We propose, that the next generation of such devices should be able to proactively provide the right information in the right way at the right time, without being prompted by the user. However, achieving this is not straightforward, since there is the danger it could interrupt what the user is doing too much, resulting in it being distracting or even annoying. Furthermore, it could unwittingly, reveal sensitive/private information to third parties. In this report, we discuss the challenges of developing proactively initiated interactions, and suggest a framework for when it is appropriate for the device to intervene. To validate our design assumptions, we describe firstly, how we built a functioning prototype and secondly, a user study that was conducted to assess users' reactions and reflections when in the presence of a proactive voice assistant. This pre-print summarises the state, ideas and progress towards a proactive device as of autumn 2018.

연구 동기 및 목표

• 사용자 명령에만 반응하는 반응형 음성 보조자의 한계를 해결하기 위해.
• 사용자 활동을 방해하지 않으면서도 적절한 시점에 관련 정보를 자동으로 제공하는 시스템을 설계하기 위해.
• 프로아크티브 상호작용 시스템에서 사생활 보호와 사용자 편안함을 어떻게 유지할 수 있을지 조사하기 위해.
• 프로토타입과 사용자 연구를 통해 프로아크티브 음성 보조자의 실현 가능성과 사용자 수용도를 검증하기 위해.
• 음성 보조자가 자율적으로 상호작용을 시작할 때와 어떻게 시작할 것인지에 대한 설계 원칙을 수립하기 위해.

제안 방법

• 실시간 맥락 인식을 위한 다중 모odal 센서(음성, 시각, 환경)를 탑재한 맞춤형 하드웨어 플랫폼을 개발하였다.
• 감각 입력과 환경에 대한 고수준 의미적 이해를 융합하기 위해 공간 AI 모델을 구현하였다.
• 사용자 상태(예: 혼자 있음, 忙함, 참여 중)와 정보의 긴급도를 평가하는 의사결정 모듈을 설계하였다.
• 일정, 이메일, 디지털 행동과 같은 개인 데이터 소스를 통합하여 관련 프로아크티브 이벤트를 식별하였다.
• 실시간 맥락과 사용자 선호도에 따라 상호작용 시점과 방식을 동적으로 조정할 수 있도록 설계하였다.
• 참가자들이 프로토타입과 상호작용하면서 반응과 사생활 보호 우려를 평가하기 위해 라이브 랩 사용자 연구를 수행하였다.

실험 결과

연구 질문

• RQ1 사용자 요청 없이 음성 보조자가 프로아크티브 상호작용을 시작할 적절한 시점은 언제인가?
• RQ2 어떻게 하면 사용자를 방해하거나 불편하게 만들지 않고 정보를 적절한 순간에 전달할 수 있는가?
• RQ3 개인화와 맥락 인식은 프로아크티브 상호작용이 자연스럽고 유용하게 느껴지도록 하는 데 어떤 역할을 하는가?
• RQ4 카메라, 마이크, 행동 데이터를 사용하는 프로아크티브 시스템에서 사용자들은 사생활 위험을 어떻게 인식하는가?
• RQ5 프로아크티브 상호작용이 사용자 경험을 향상시키고 떨어지지 않도록 보장하기 위한 설계 원칙은 무엇인가?

주요 결과

• 사용자들은 사생활 보호를 매우 중요하게 여겼으며, 제한된 실험 환경에서도 사생활 보호 문제가 프로아크티브 시스템의 핵심 과제로 부상하였다.
• 연구 기간 동안 참가자들은 사생활 문제를 제기하지 않았지만, 이는 실제 가정 환경에서의 수용을 보장하지는 않는다.
• 프로아크티브 상호작용은 시기적절하고 맥락에 부합하며 간섭이 없을 때에만 유용하다고 평가되었다.
• 사용자 상태(예: 혼자 있음, 忙함 등)를 탐지할 수 있는 시스템의 능력이 간섭 시점의 적절성을 크게 향상시켰다.
• 사용자들은 자신의 일정이나 이메일과 같은 신뢰할 수 있는 소스에서 유래한 개인화된 업데이트를 선호했다.
• 기능성과 사생활 보호 사이에는 명확한 트레이드오프가 존재한다: 프로아크티브 기능은 민감한 데이터에 지속적인 액세스가 필요하므로 강력한 투명성과 설정 가능성 요구된다.