[논문 리뷰] Comparison of a Head-Mounted Display and a Curved Screen in a Multi-Talker Audiovisual Listening Task

Gerard Llorach, Maartje M. E. Hendrikse외 2명|arXiv (Cornell University)|2020. 04. 03.

Hearing Loss and Rehabilitation인용 수 4

한 줄 요약

이 연구는 세 가지 시각 조건(음성 전용, 가상 캐릭터, 영상 기록)에서 다화자 청취 작업을 수행하는 동안 헤드셋형 디스플레이(HMD)와 곡면 스크린(CS)을 비교한다. 결과적으로 노령 청력 정상 참가자들은 HMD보다 CS를 더 선호했으며, 특히 영상 기록 조건이 가장 선호되었다. 이는 HMD가 필요할 경우를 제외하고는 청력 연구 환경에서 CS와 영상 기록 조합이 최적임을 시사한다.

ABSTRACT

Introduction: Virtual audiovisual technology and its methodology has yet to be established for psychoacoustic research. This study examined the effects of different audiovisual conditions on preference when listening to multi-talker conversations. The study's goal is to explore and assess audiovisual technologies in the context of hearing research. Methods: The participants listened to audiovisual conversations between four talkers. Two displays were tested and compared: a curved screen (CS) and a head-mounted display (HMD). Using three visual conditions (audio-only, virtual characters and video recordings), three groups of participants were tested: seventeen young normal-hearing, ten older normal-hearing, and ten older hearing-impaired listeners. Results: Open interviews showed that the CS was preferred over the HMD for older normal-hearing participants and that video recordings were the preferred visual condition. Young and older hearing-impaired participants did not show a preference between the CS and the HMD. Conclusions: CSs and video recordings should be the preferred audiovisual setup of laboratories and clinics, although HMDs and virtual characters can be used for hearing research when necessary and suitable.

연구 동기 및 목표

• 다양한 음성시각 디스플레이 기술(헤드셋형 디스플레이(HMD)와 곡면 스크린(CS))이 다화자 청취 작업에서 청취자 선호도에 미치는 영향을 평가하기 위해.
• 시각 조건(음성 전용, 가상 캐릭터, 영상 기록)이 사용자 선호도 및 청취 성능에 미치는 영향을 평가하기 위해.
• 청력 상태(청년 청력 정상, 노령 청력 정상, 노령 청력 장애)가 HMD와 CS 간 선호도를 조절하는지 여부를 규명하기 위해.
• 청력 연구 실험실 및 임상 환경에서 음성시각 설정을 선택하는 데 기초가 되는 권고를 제시하기 위해.

제안 방법

• 참가자들은 네 명의 화자 포함 음성시각 대화에 노출되었으며, 세 가지 시각 조건을 거쳐야 했다: 음성 전용, 가상 캐릭터, 영상 기록.
• 두 가지 디스플레이 유형을 시험했다: 헤드셋형 디스플레이(HMD)와 곡면 스크린(CS), 각각 동일한 음성시각 자료를 통제된 조건에서 제공했다.
• 내측 설계를 사용하여 참가자들은 디스플레이 및 시각 조건의 모든 조합에서 청취 작업을 수행했다.
• 선호도는 개방형 인터뷰를 통해 평가되었으며, 이는 감지된 편안함, 현실감, 사용성에 대한 질적 피드백을 확보하기 위함이었다.
• 자료는 17명의 청년 청력 정상, 10명의 노령 청력 정상, 10명의 노령 청력 장애 청취자로부터 수집되었다.
• 통계 분석은 청력 집단 및 디스플레이 유형 간 선호도 패턴을 규명하는 데 집중했다.

실험 결과

연구 질문

• RQ1 다화자 음성시각 청취 작업에서 디스플레이 선택(HMD 대 CS)이 청취자 선호도에 유의미한 영향을 미치는가?
• RQ2 다양한 청력 집단에서 음성 전용, 가상 캐릭터, 영상 기록 중 어느 시각 조건이 가장 선호되는가?
• RQ3 노령 청력 정상 청취자들이 청년 또는 청력 장애 청취자들보다 한 디스플레이 유형에 더 강한 선호를 보이는가?
• RQ4 청력 상태가 음성시각 청취 작업에서 HMD와 곡면 스크린에 대한 선호도를 어느 정도 조절하는가?

주요 결과

• 노령 청력 정상 참가자들은 헤드셋형 디스플레이(HMD)보다 곡면 스크린(CS)을 명확히 선호했다.
• 모든 시각 조건 중에서 영상 기록이 노령 청력 정상 참가자들 사이에서 가장 선호되었다.
• 청년 및 노령 청력 장애 참가자들은 HMD와 CS 사이에 유의미한 선호도 차이를 보이지 않았다.
• HMD는 노령 청력 정상 참가자들에게서 편안함이나 현실감이 떨어지는 것으로 인식되었지만, 성능 차이는 보고되지 않았다.
• 이 연구는 청력 연구 실험실 및 클리닉에서 곡면 스크린과 영상 기록 조합을 선호하는 음성시각 설정으로 삼아야 한다고 결론 내렸다.
• HMD와 가상 캐릭터는 필요할 경우 타당한 옵션이지만, 대부분의 사용자 집단에서는 CS와 영상 기록보다 선호되지 않는다.