[논문 리뷰] Look at Me When I Talk to You: A Video Dataset to Enable Voice Assistants to Recognize Errors

Andrea Cuadra, Hansol Lee외 2명|arXiv (Cornell University)|2021. 04. 14.

AI in Service Interactions참고 문헌 48인용 수 4

한 줄 요약

이 논문은 음성 보조자와의 상호작용 중 21명의 참가자들의 얼굴 반응을 담은 오픈소스 비디오 데이터셋을 소개하며, 얼굴 표정만으로도 보조자가 실수를 했는지 여부를 파악할 수 있음을 보여준다. 침묵한 비디오 클립에서 얼굴 반응을 분류하기 위해 군중 기반 노동자를 활용한 연구는 음성 보조자의 실수를 시각적 신호로 인식하는 데 있어 유망한 경향을 보이며, 대화형 AI에서 자가 복구 메커니즘을 위한 길을 열고 있다.

ABSTRACT

People interacting with voice assistants are often frustrated by voice assistants' frequent errors and inability to respond to backchannel cues. We introduce an open-source video dataset of 21 participants' interactions with a voice assistant, and explore the possibility of using this dataset to enable automatic error recognition to inform self-repair. The dataset includes clipped and labeled videos of participants' faces during free-form interactions with the voice assistant from the smart speaker's perspective. To validate our dataset, we emulated a machine learning classifier by asking crowdsourced workers to recognize voice assistant errors from watching soundless video clips of participants' reactions. We found trends suggesting it is possible to determine the voice assistant's performance from a participant's facial reaction alone. This work posits elicited datasets of interactive responses as a key step towards improving error recognition for repair for voice assistants in a wide variety of applications.

연구 동기 및 목표

• 음성 보조자가 상호작용 도중 자신의 실수를 인식하지 못하는 데서 비롯되는 문제를 해결하기 위해.
• 얼굴 반응이 음성 보조자의 실수를 신뢰할 만한 지표로 기능할 수 있는지 탐색하여, 자동 감지 및 자가 복구를 가능하게 하기 위해.
• 음성 보조자로부터의 정확한 응답, 잘못된 응답, 또는 응답 없음에 대한 사용자 반응을 담은 공개 가능한 윤리적으로 확보된 비디오 데이터셋을 구축하고 배포하기 위해.
• 시각적 신호만으로도 음성 보조자가 실수를 했을 때를 인식할 수 있는 기계 학습 모델을 훈련시키는 가능성의 타당성을 검증하기 위해.
• 실제 인간 상호작용 데이터를 활용하여 음성 기반 시스템에서의 실수 탐지, 복구 및 대화 기반 설정에 관한 향후 연구의 기초를 마련하기 위해.

제안 방법

• 참가자 21명이 자연스러운 환경에서 아마존 알렉사와 상호작용하는 과정을 녹화하여 스마트 스피커의 시각적 관점에서 음성 및 영상을 기록하였다.
• 알렉사의 응답에 대한 참가자들의 얼굴 표정을 보여주는 침묵한 비디오 클립을 추출하고 잘라내었다.
• 각 비디오 클립을 세 가지 카테고리로 분류: 정확한 응답(YES), 잘못된 응답(NO), 응답 없음(OMIT).
• 아마존 메카니컬 터크를 통해 군중 기반 노동자들이 침묵한 비디오 클립을 기반으로 실수 발생 여부(NO) 또는 실수 없음(YES/OMIT)으로 레이블링하였다.
• 레이블링된 데이터셋을 활용하여 얼굴 표정만으로도 실수를 인식하는 기계 학습 분류기의 모의 구현을 수행하였다.
• 연구자들 간의 윤리적 보호 조치를 시행하여 IRB 승인, 참가자 동의 및 제한된 데이터 배포(모든 연구자에게 IRB 승인 필요)를 실시하였다.

실험 결과

연구 질문

• RQ1 대화 도중 음성 보조자가 실수를 했는지 여부를 판단하기 위해 얼굴 표정만으로도 신뢰성 있게 판단할 수 있는가?
• RQ2 군중 기반 노동자가 사용자 반응의 침묵한 비디오 클립을 바탕으로 음성 보조자의 실수를 얼마나 효과적으로 탐지할 수 있는가?
• RQ3 음성 보조자가 잘못된 응답이나 응답 없음을 유도했을 때 사용자가 인식하는 데 가장 두드러진 얼굴 표정은 무엇인가?
• RQ4 시각적 반응 데이터는 음성 보조자에서의 자동 실수 감지 기계 학습 모델을 훈련시키는 데 얼마나 활용될 수 있는가?
• RQ5 인터랙티브 응답 데이터셋은 대화형 AI 시스템에서의 자가 복구 메커니즘 개발을 어떻게 향상시킬 수 있는가?

주요 결과

• 군중 기반 노동자들은 참가자들의 얼굴 반응을 담은 침묵한 비디오 클립을 시청함으로써 음성 보조자의 실수 존재 여부를 상당한 일관성으로 분류할 수 있었다.
• 연구에서는 알렉사의 잘못된 응답이나 응답 없음에 관련된 얼굴 표정의 명확한 경향, 예를 들어 고개 저음, 눈을 굴이는 행동, 또는 반응 없음 등을 발견하였다.
• 참가자들은 잘못된 응답에 대해 특별한 시각적 반응(예: 고개 저음)을 보였고, 응답 없음에 대해서는 침묵이나 눈길 이동 등의 반응을 보였다. 이는 감지 가능한 패턴을 이룬다.
• 데이터셋은 음성 없이도 보조자의 성능을 추론할 수 있도록 충분한 정보를 담고 있음을 보여주었다.
• 이 연구는 음성 보조자에서 실수 감지 모델을 훈련시키는 데 있어 시각적 단독 신호의 타당성을 검증하였으며, 향후 실시간, 온디바이스 추론을 지원하는 데 기여한다.
• IRB 승인, 동의서 확보, 제한된 데이터 접근을 통해 윤리적 고려사항을 충족시켰으며, 민감한 생체 정보 데이터의 책임감 있는 사용을 보장하였다.