[논문 리뷰] A Survey Investigating Usage of Virtual Personal Assistants

Mateusz Dubiel, Martin Halvey외 1명|arXiv (Cornell University)|2018. 07. 12.

AI in Service Interactions참고 문헌 15인용 수 15

한 줄 요약

이 서베이(N=118)는 가상 개인 보조자(VPA)를 자주 사용하는 사용자와 덜 사용하는 사용자 간의 사용 경험, 성능 기대, 프라이버시 우려의 차이를 조사한다. 자주 사용하는 사용자들은 다양한 상황에서 더 높은 만족도와 VPA 사용에 대한 의지를 보였지만, 두 그룹 모두 프라이버시 우려 수준이 유사했으며, 덜 사용하는 사용자들 사이에서는 음성 인식(ASR)이 핵심 장벽으로 인식되었다.

ABSTRACT

Despite significant improvements in automatic speech recognition and spoken language understanding - human interaction with Virtual Personal Assistants (VPAs) through speech remains irregular and sporadic. According to recent studies, currently the usage of VPAs is constrained to basic tasks such as checking facts, playing music, and obtaining weather updates.In this paper, we present results of a survey (N = 118) that analyses usage of VPAs by frequent and infrequent users. We investigate how usage experience, performance expectations, and privacy concerns differ between these two groups. The results indicate that, compared with infrequent users, frequent users of VPAs are more satisfied with their assistants, more eager to use them in a variety of settings, yet equally concerned about their privacy.

연구 동기 및 목표

• 사용 빈도가 VPA의 사용자 경험, 성능 기대, 프라이버시 우려에 미치는 영향을 이해하기 위해.
• 음성 인식 및 자연어 이해 기술의 발전에도 불구하고 정기적인 VPA 사용을 제한하는 장애 요인을 특정하기 위해.
• 만족도, 기대치, 프라이버시 측면에서 자주 사용자와 덜 사용자 간의 핵심 차이를 비교하기 위해.
• 사용자 만족도, 사용 빈도, VPA의 인식된 능력 간의 상호작용을 탐색하기 위해.

제안 방법

• 참가자 118명을 대상으로 서베이를 실시하였으며, 자가 보고한 사용 빈도에 따라 자주 사용자와 덜 사용자 그룹으로 분류하였다.
• 만족도, 인식된 능력, 성능 기대, 프라이버시 우려를 평가하기 위해 5점 리커트 척도를 사용하여 데이터를 수집하였다.
• 자주 사용자와 덜 사용자 그룹 간 응답을 비교하기 위해 t-검정 및 보너페리니 보정을 포함한 통계 분석을 실시하였다.
• 사용 환경(예: 집, 차량, 외부 공간 등)과 VPA 기능(예: 인터럽션 인식, 성격 등)에 관한 질문을 포함하였다.
• 현재 능력(ASR, NLU)과 향후 기대치(예: 인간처럼 상호작용하는 능력)의 인식을 비교하기 위해 결과를 분석하였다.
• 미래 연구를 위해 일기 연구의 에테노메소도로지컬 분석을 계획하고 있다.

실험 결과

연구 질문

• RQ1 RQ1: 기능성, 사용 방식, 만족도 측면에서 자주 사용자와 덜 사용자 간에 어떤 차이가 있는가?
• RQ2 RQ2: 자주 사용자와 덜 사용자 간에 현재 상호작용 능력과 향후 성능 기대치에 대한 인식이 다를까?
• RQ3 RQ3: 자주 사용자와 덜 사용자 간에 프라이버시 우려 수준이 다를까?

주요 결과

• 자주 사용자들은 덜 사용자들보다 VPA에 대한 전반적인 만족도가 유의미하게 높게 보고되었으며, 이는 만족도와 사용 빈도 사이에 강한 연관성이 있음을 시사한다.
• 자주 사용자와 덜 사용자 모두 프라이버시 우려 수준이 유사했으며, 특히 도로 위나 대중교통에서의 사용 시 가장 높은 우려가 보고되었다.
• 자주 사용자들은 집에서, 혼자일 때, 가족과 함께, 파artner와 함께 VPA를 더 자주 사용하는 경향이 있어, 공동 또는 비공개 환경에서의 편안함이 더 높다는 것을 시사한다.
• 기술 발전에도 불구하고, 덜 사용자들은 자동 음성 인식(ASR)을 주요 장벽으로 인식하였으며, 이 중 41%는 자신의 억양을 이해한다고 느끼지 못한다고 강하게 반박하였다.
• 자주 사용자와 덜 사용자 간에 현재 능력 인식이나 향후 성능 기대치에 유의미한 통계적 차이가 없었지만, 자주 사용자들은 VPA의 인터럽션 인식 능력에 대해 더 강한 선호를 보였다(M=4.45 vs. 4.09, p=0.54).
• 두 그룹 모두 VPA가 더 인간처럼 행동하고 더 많은 질문을 하기를 기대하지만, 자주 사용자들은 특히 사회적 상황에서 이러한 기능을 더 수용할 가능성이 높다.