[論文レビュー] Three Orthogonal Dimensions for Psychoacoustic Sonification

Tim Ziemer, Holger Schultheis|arXiv (Cornell University)|Jan 1, 2019

Music and Audio Processing参考文献 48被引用数 15

ひとこと要約

本論文は、3次元データの音響化のための知覚的に直交する3つの心理音響的次元—周波数、音量、トーン色—を特定し、実験的に検証した。モノフォニック聴取表示を用いて、21名の初心者参加者がたった5分間の露出後、視覚的ヒントなしで正確に音響化された2次元空間的位置を解釈できた。これは、これらの次元が視覚的補助なしに明確で高精度な多次元データ解釈を可能にすることを示している。

ABSTRACT

Objective: Three perceptually orthogonal auditory dimensions for multidimensional and multivariate data sonification are identified and experimentally validated. Background: Psychoacoustic investigations have shown that orthogonal acoustical parameters may interfere perceptually. The literature hardly offers any solutions to this problem, and previous auditory display approaches have failed to implement auditory dimensions that are perceived orthogonally by a user. In this study we demonstrate how a location in three-dimensional space can be sonified unambiguously by the implementation of perceptually orthogonal psychoacoustic attributes in monophonic playback. Method: Perceptually orthogonal auditory attributes are identified from literature research and experience in music and psychoacoustic research. We carried out an experiment with 21 participants who identified sonified locations in two-dimensional space. Results: With just 5 minutes of explanation and exploration, naive users can interpret our multidimensional sonification with high accuracy. Conclusion: We identified a set of perceptually orthogonal auditory dimensions suitable for three-dimensional data sonification. Application: Three-dimensional data sonification promises blind navigation, e.g. for unmanned vehicles, and reliable real-time monitoring of multivariate data, e.g., in the patient care sector.

研究の動機と目的

• 音響パラメータが干渉し解釈性を低下させる多次元音響化における知覚的非直交性という重要な課題に対処すること。
• 既存の音響化および聴取表示システムに、信頼性があり知覚的に直交する音響次元が不足しているという問題を克服すること。
• 3つの独立した知覚的次元をサポートする音響化システムにより、多次元または空間的データを正確かつリアルタイムに解釈できるようにすること。
• 初心者でさえ、最小限の訓練で受動的な聴取により複雑な空間マッピングを解釈できるかを示すこと。
• 視覚的補助が不要な高解釈性を求めるアプリケーション、例えば視覚障害者のナビゲーションや患者モニタリングにおける音響化の有効なフレームワークを提供すること。

提案手法

• 心理音響文献および経験的知見に基づき、周波数（ピッチ）、音量（振幅）、スペクトルエンVELOープ（トーン色）という3つの知覚的に直交する音響的特徴を同定した。
• これらの3つの次元を2次元平面（x, y, z）の空間座標にマッピングし、それぞれが別個の知覚的軸を表すようにした。
• ピッチ、音量、トーン色の連続的かつ分離可能な変化を用いて、空間的位置を符号化するモノフォニック音響化システムを設計した。
• 21名の参加者が視覚的ヒントを一切使用せず、聴覚的手がかりのみで2次元グリッド上の音響化されたターゲット位置を特定する制御された聴取実験を実施した。
• 分散分析（ANOVA）およびケンダールのτ検定を用いて、3つのグループ（x-y、x-z、y-z）のパフォーマンスを評価し、知覚的直交性を検証した。
• 誤認マトリクスおよびパフォーマンス指標（正確度、ヒットレート）を用いて、解釈の正確性と次元間干渉を定量化した。

実験結果

リサーチクエスチョン

• RQ1 モノフォニック音響化システムにおいて、知覚的に直交する3つの音響的次元を特定し実装できるか？
• RQ2 事前の訓練なしに、ピッチ、音量、トーン色に符号化された空間的位置を初心者がどれほど正確に解釈できるか？
• RQ3 2つの次元を組み合わせた場合、3つの音響次元が互いに干渉や誤認を起こさずに知覚的に独立しているか？
• RQ4 x-y、x-z、y-zの異なる次元ペア間での参加者のパフォーマンスを比較することで、直交性が検証できるか？
• RQ5 以前のバージョンの音響化にさらされた経験が、解釈の正確度に影響を与えるか。これは学習または適応効果を示唆するか？

主な発見

• 参加者は音響化された2次元空間的位置を高い正確度で特定した。ターゲット分野ごとの正答率は25%から90.9%まで変動した。
• x-y次元ペアは、過去の研究と比較して顕著に高いパフォーマンスを示した。これは信号マッピングの最適化とインタラクティブな探索によるものと考えられる。
• 誤認マトリクスから明確な対角パターンが観察され、ターゲット分野が最も頻繁に選択された。グループ1つあたり平均して16分野中2〜3分野が誤認された。
• 大多数の誤認は同じクアッドラン内に発生し、1つのターゲットに対して常に選択された分野は3〜4つにとどまった。これは明確な知覚的分離が実現していることを示唆している。
• ケンダールのτ検定により、誤認マトリクス間に中程度のが有意な順位相関（τ = 0.49〜0.56、p < 10−18）が確認され、グループ間で一貫したパフォーマンスが得られており、知覚的直交性が裏付けられた。
• x-y、x-z、y-zの3つの次元ペア間でパフォーマンスの有意差が認められなかったため、z次元（トーン色）がピッチおよび音量の両方と知覚的に直交していることが確認された。