[논문 리뷰] Evaluating Personal Assistants on Mobile devices

Julia Kiseleva, Maarten de Rijke|arXiv (Cornell University)|2017. 06. 14.

Mobile Crowdsensing and Crowdsourcing참고 문헌 47인용 수 10

한 줄 요약

이 논문은 스케일러블한 제스처 및 음성 기반 상호작용 신호를 사용하여 모바일 개인 비서의 상황 인식 사용자 만족도를 평가하기 위한 연구 계획을 제안한다. 데스크톱 중심의 평가 방법의 한계를 보완하기 위해 터치, 동작, 음성 상호작용을 모델링하여 실제 모바일 환경에서의 사용자 만족도를 예측함으로써, 모바일 HCI에서 행동 신호 분석을 위한 딥 러닝의 응용을 발전시킨다.

ABSTRACT

The iPhone was introduced only a decade ago in 2007 but has fundamentally changed the way we interact with online information. Mobile devices differ radically from classic command-based and point-and-click user interfaces, now allowing for gesture-based interaction using fine-grained touch and swipe signals. Due to the rapid growth in the use of voice-controlled intelligent personal assistants on mobile devices, such as Microsoft's Cortana, Google Now, and Apple's Siri, mobile devices have become personal, allowing us to be online all the time, and assist us in any task, both in work and in our daily lives, making context a crucial factor to consider. Mobile usage is now exceeding desktop usage, and is still growing at a rapid rate, yet our main ways of training and evaluating personal assistants are still based on (and framed in) classical desktop interactions, focusing on explicit queries, clicks, and dwell time spent. However, modern user interaction with mobile devices is radically different due to touch screens with a gesture- and voice-based control and the varying context of use, e.g., in a car, by bike, often invalidating the assumptions underlying today's user satisfaction evaluation. There is an urgent need to understand voice- and gesture-based interaction, taking all interaction signals and context into account in appropriate ways. We propose a research agenda for developing methods to evaluate and improve context-aware user satisfaction with mobile interactions using gesture-based signals at scale.

연구 동기 및 목표

• 터치, 제스처, 음성과 같은 상호작용을 포함하는 현대의 모바일 상호작용 패러다임과 데스크톱 기반 평가 방법 간의 점점 커지는 격차를 해소하기 위해.
• 클릭 수와 체류 시간과 같은 전통적 지표가 상호작용 패턴의 차이와 상황적 변동성로 인해 모바일 환경에서는 부적절하다는 것을 인식하기 위해.
• 사용자 상황적 맥락과 정서적 신호를 고려하여 스케일러블하고 행동 중심의 사용자 만족도 측정 방법을 개발하기 위해.
• 정적 쿼리-응답 모델을 넘어서 실제 모바일 사용 환경에서의 동적이고 다중 모odal 사용자 행동을 포착하기 위해.
• 모바일 기기에서 추적 가능한 풍부한 상호작용 신호를 활용하여 개인 비서의 대규모 평가를 위한 기반을 마련하기 위해.

제안 방법

• 사용자 행동을 포착하기 위해 터치 이벤트, 기기 동작(자세, 가속도), GPS 데이터, 제스처 이벤트(예: 스와이프, 흔들기)의 조합을 사용하여 상호작용을 모델링하기 위해.
• 직접 터치 로깅이 불가능할 경우 간접적으로 터치 기반 상호작용을 추론하기 위해 뷰포트 추적을 사용하기 위해.
• 사용자 위치, 시간, 기기 상태와 같은 맥락 신호를 통합하여 상황 인식 분석을 위한 상호작용 모델링을 풍부하게 하기 위해.
• 사용자 만족도 예측을 위해 제스처 및 음성 상호작용 데이터의 복잡한 비선형 패턴을 모델링하기 위해 딥 뉴럴 네트워크를 적용하기 위해.
• 비지도 로그 분석과 지도 학습 기반 사용자 실험을 결합하여 상황 인식 만족도 신호를 검증하고 주석 처리하기 위해.
• 사용자 상태와 환경의 실시간 변화를 반영하기 위해 세션 수준의 만족도 모델을 상황 인식 및 동적 환경 모델링으로 확장하기 위해.

실험 결과

연구 질문

• RQ1 RQ1: 어떻게 스케일러블하고 추적 가능한 신호를 사용하여 제스처 및 음성 제어 기기의 상호작용을 모델링할 수 있는가?
• RQ2 RQ2: 어떻게 모바일 환경에서 개인 비서와의 상황 인식 사용자 만족도를 정의할 수 있는가?
• RQ3 RQ3: 어떻게 모바일 기기에서 제스처 기반 신호를 사용하여 상황 인식 사용자 만족도를 예측할 수 있는가?

주요 결과

• 전통적인 클릭 기반 지표보다 제스처 및 음성 기반 신호가 사용자 정서와 상황적 맥락에 더 민감하여 사용자 만족도에 대한 더 풍부한 추론이 가능하다.
• 스와이프 패턴과 기기 자세와 같은 터치 및 동작 신호는 사용자 분노 또는 만족도와 관련된 행동적 및 정서적 신호를 드러낸다.
• 뷰포트 추적을 통해 직접 로깅이 불가능하더라도 간접적으로 효과적으로 터치 상호작용을 추론할 수 있어 스케일러블한 데이터 수집을 지원한다.
• 상황 인식 만족도 모델링은 사용자 위치, 기기 상태 및 환경의 동적 변화를 반영하기 위해 세션 수준 분석을 넘어서야 한다.
• 딥 뉴럴 네트워크는 복잡한 모바일 상호작용 패턴을 모델링하는 데 강력한 잠재력을 보이며, 그 응용은 아직 모바일 행동 신호에 대해 충분히 탐색되지 않았다.
• 현재의 데스크톱 상호작용 모델 기반 평가 프레임워크는 제스처 및 음성 기반 상호작용의 미묘함을 포착하지 못하므로, 새로운 방법론적 접근이 필요하다.