[論文レビュー] Comparison of a Head-Mounted Display and a Curved Screen in a Multi-Talker Audiovisual Listening Task

Gerard Llorach, Maartje M. E. Hendrikse+2 more|arXiv (Cornell University)|Apr 3, 2020

Hearing Loss and Rehabilitation被引用数 4

ひとこと要約

本研究では、3つの視覚条件（音声のみ、仮想キャラクター、映像録画）の下で、マルチトークャー音声視覚聴取タスクにおいてヘッドマウントディスプレイ（HMD）とカーブドスクリーン（CS）を比較した。結果として、高齢の聴力正常者参加者がCSをHMDよりも好んだことが判明し、映像録画が最も好まれる視覚条件であった。これは、HMDが必要不可欠な場合を除き、CSに映像録画を組み合わせた構成が聴力研究の現場において最適であることを示唆している。

ABSTRACT

Introduction: Virtual audiovisual technology and its methodology has yet to be established for psychoacoustic research. This study examined the effects of different audiovisual conditions on preference when listening to multi-talker conversations. The study's goal is to explore and assess audiovisual technologies in the context of hearing research. Methods: The participants listened to audiovisual conversations between four talkers. Two displays were tested and compared: a curved screen (CS) and a head-mounted display (HMD). Using three visual conditions (audio-only, virtual characters and video recordings), three groups of participants were tested: seventeen young normal-hearing, ten older normal-hearing, and ten older hearing-impaired listeners. Results: Open interviews showed that the CS was preferred over the HMD for older normal-hearing participants and that video recordings were the preferred visual condition. Young and older hearing-impaired participants did not show a preference between the CS and the HMD. Conclusions: CSs and video recordings should be the preferred audiovisual setup of laboratories and clinics, although HMDs and virtual characters can be used for hearing research when necessary and suitable.

研究の動機と目的

• マルチトークャー聴取タスクにおける聴取者好みに与える異なる音声視覚ディスプレイ技術（ヘッドマウントディスプレイ（HMD）とカーブドスクリーン（CS））の影響を評価すること。
• 視覚条件（音声のみ、仮想キャラクター、映像録画）がユーザーの好みおよび聴取パフォーマンスに与える影響を評価すること。
• 聴力状態（若年聴力正常者、高齢聴力正常者、高齢聴力障害者）がHMDとCSの好みに与える調節効果を特定すること。
• 聴力研究の研究室および臨床現場における音声視覚セットアップの選定に根拠に基づいた推奨を行うこと。

提案手法

• 参加者は、4人の話者を含む音声視覚会話に、3つの視覚条件（音声のみ、仮想キャラクター、映像録画）の下で暴露された。
• 2種類のディスプレイタイプ（ヘッドマウントディスプレイ（HMD）とカーブドスクリーン（CS））が検証され、同じ音声視覚刺激を制御された条件下で提供された。
• 被験者内設計が用いられ、参加者はディスプレイと視覚条件のすべての組み合わせで聴取タスクを完了した。
• 好みは、主観的な快適さ、現実性、使いやすさに関する質的フィードバックを収集するオープンエンドインタビューによって評価された。
• データ収集は、17名の若年聴力正常者、10名の高齢聴力正常者、10名の高齢聴力障害者から行われた。
• 統計的分析では、聴力グループおよびディスプレイタイプごとの好みのパターンを特定することに焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 HMDとCSのディスプレイ選択が、マルチトークャー音声視覚聴取タスクにおける聴取者好みに顕著な影響を与えるか？
• RQ2 音声のみ、仮想キャラクター、映像録画のうち、どの視覚条件が異なる聴力グループにおいて最も好まれるか？
• RQ3 高齢の聴力正常者参加者が、若年者や聴力障害者と比較して、あるディスプレイタイプに強く好みを示すか？
• RQ4 聴力状態が、音声視覚聴取タスクにおけるHMDとカーブドスクリーンの好みにどの程度調節効果を示すか？

主な発見

• 高齢の聴力正常者参加者は、カーブドスクリーン（CS）をヘッドマウントディスプレイ（HMD）よりも明確に好んだ。
• すべての視覚条件の中で、高齢の聴力正常者参加者が最も好んだのは映像録画であった。
• 若年および高齢の聴力障害者参加者は、HMDとCSの間で有意な好みの差を示さなかった。
• HMDは、高齢の聴力正常者参加者から、快適さや現実性に欠けると評価されたが、パフォーマンスに差は報告されなかった。
• 本研究は、聴力研究の研究室および臨床現場において、カーブドスクリーンに映像録画を組み合わせたセットアップを推奨する結論に至った。
• HMDおよび仮想キャラクターは、必要不可欠な場合に限り有効な選択肢であり、ほとんどのユーザーにとってCSと映像録画に比べて好まれない。