[論文レビュー] Evaluation of short range depth sonifications for visual-to-auditory sensory substitution

Louis Commère, Jean Rouat|arXiv (Cornell University)|Apr 11, 2023

Tactile and Sensory Interactions被引用数 4

ひとこと要約

本研究では、視覚から聴覚へのセンサリスブスティチューションにおいて、視覚的深度を音響化する5つの手法—周波数、振幅、ビープ音の繰り返しレート、リバーブ、および信号対雑音比—を評価した。視覚障害をもつ被験者ではなく、視覚をふさがせた健常被験者を用いて実施したが、ビープ音の繰り返しレートが、他の手法に比べて最も正確で記憶に残りやすい深度認識をもたらした。位置決めの正確性および被験者の認識の両面で優れた性能を示した。

ABSTRACT

Visual to auditory sensory substitution devices convert visual information into sound and can provide valuable assistance for blind people. Recent iterations of these devices rely on depth sensors. Rules for converting depth into sound (i.e. the sonifications) are often designed arbitrarily, with no strong evidence for choosing one over another. The purpose of this work is to compare and understand the effectiveness of five depth sonifications in order to assist the design process of future visual to auditory systems for blind people which rely on depth sensors. The frequency, amplitude and reverberation of the sound as well as the repetition rate of short high-pitched sounds and the signal-to-noise ratio of a mixture between pure sound and noise are studied. We conducted positioning experiments with twenty-eight sighted blindfolded participants. Stage 1 incorporates learning phases followed by depth estimation tasks. Stage 2 adds the additional challenge of azimuth estimation to the first stage's protocol. Stage 3 tests learning retention by incorporating a 10-minute break before re-testing depth estimation. The best depth estimates in stage 1 were obtained with the sound frequency and the repetition rate of beeps. In stage 2, the beep repetition rate yielded the best depth estimation and no significant difference was observed for the azimuth estimation. Results of stage 3 showed that the beep repetition rate was the easiest sonification to memorize. Based on statistical analysis of the results, we discuss the effectiveness of each sonification and compare with other studies that encode depth into sounds. Finally we provide recommendations for the design of depth encoding.

研究の動機と目的

• 5つの深度音響化戦略の有効性を評価・比較すること。
• 3次元センサデータを用いて、視覚障害者による最も正確で記憶に残りやすい深度推定を可能にする音響化手法を特定すること。
• 深度センサに依存する将来的なセンサリスブスティチューションデバイスの設計に関する、根拠に基づく推奨事項を提供すること。
• 学習、タスクの複雑さ、記憶保持の条件下で、音響化のパフォーマンスに差が生じるかどうかを調査すること。
• 音響化設計における知覚的自然さとクロスモーダル対応の役割を評価すること。

提案手法

• 3段階の実験ステージを実施した：(1) 学習を伴う深度推定、(2) 深度と方位の併記推定、(3) 10分間の休憩後の記憶保持。
• 視覚フィードバックを排除するため、28名の健常被験者に眼をふせがせた状態で音響化タスクを実施した。
• 5つの音響化手法を評価した：周波数、振幅、高音の短いビープ音の繰り返しレート、リバーブ、およびノイズを混ぜた純音の信号対雑音比。
• 絶対的位置決め誤差を測定し、統計的分析を用いて各音響化手法間のパフォーマンスを比較した。
• 有意性検定のためのベースラインパフォーマンスを定義するため、偶然レベルの誤差を (b−a)/3 として計算した。
• 各音響化手法の知覚的自然さと直感性に関する定性的フィードバックを収集した。

実験結果

リサーチクエスチョン

• RQ1 短距離（1メートル）環境において、どの深度音響化手法が最も正確な深度推定をもたらすか？
• RQ2 方位推定を組み込むことで、異なる音響化戦略のパフォーマンスにどのような影響が生じるか？
• RQ3 10分間の遅延後、どの音響化手法が最も記憶に残りやすいか（長期的使いやすさを示唆）？
• RQ4 知覚的自然さとクロスモーダル対応は、ユーザーの好みやパフォーマンスにどのように影響するか？
• RQ5 視覚をふせがせた健常被験者からの結果は、実世界の視覚障害者に一般化可能か？

主な発見

• 第1段階では、ビープ音の繰り返しレートが、他の音響化手法に比べて顕著に低い絶対的位置決め誤差を示し、最も正確な深度推定を達成した。
• 第2段階（方位推定を含む）においても、ビープ音の繰り返しレートは最も優れたパフォーマンスを示し、各手法間での方位推定の正確性に有意差は認められなかった。
• ビープ音の繰り返しレートは、深度を符号化する手法として最も自然で直感的であると評価され、被験者から他の手法に比べて一貫して好まれた。
• 第3段階の結果から、ビープ音の繰り返しレートは、10分間の休憩後でも最も記憶に残りやすく、最小の誤差を示した。
• 周波数に基づく音響化は、定量的な正確性は良好であったが、直感的ではなく、深度と自然に結びついていないと感じられた。
• 純音にホワイトノイズを混合した音響化は、強い定性的フィードバックを得ており、潜在的な可能性を示したが、ビープ音の繰り返しレートに比べて正確性に劣った。