[論文レビュー] Psychoacoustic Sonification as User Interface for Human-Machine Interaction

Tim Ziemer, Nuttawut Nuchprayoon+1 more|arXiv (Cornell University)|Jan 1, 2019

Tactile and Sensory Interactions参考文献 28被引用数 9

ひとこと要約

本論文は、3次元空間的データ（方向および距離）を正確に伝えるために、知覚に裏打ちされた音声マッピングを用いた、高度な聴覚的ユーザインタフェースとしての心理音響的サニフィケーションを提案する。心理音響的原則を活用することで、視覚的制約のある環境において、曇った視界や視覚過負荷の状況下でも、曇りのない、低レイテンシ、高分解能なナビゲーションおよび障害物回避が可能となり、手術や消火活動、クレーン操作などの状況において、従来の視覚的または触覚的フィードバックを凌駉する。

ABSTRACT

When operating a machine, the operator needs to know some spatial relations, like the relative location of the target or the nearest obstacle. Often, sensors are used to derive this spatial information, and visual displays are deployed as interfaces to communicate this information to the operator. In this paper, we present psychoacoustic sonification as an alternative interface for human-machine interaction. Instead of visualizations, an interactive sound guides the operator to the desired target location, or helps her avoid obstacles in space. By considering psychoacoustics --- i.e., the relationship between the physical and the perceptual attributes of sound --- in the audio signal processing, we can communicate precisely and unambiguously interpretable direction and distance cues along three orthogonal axes to a user. We present exemplary use cases from various application areas where users can benefit from psychoacoustic sonification.

研究の動機と目的

• 本論文は、複雑で視覚的過負荷や視界が遮断される環境における視覚的および従来の聴覚的インタフェースの限界に取り組む。
• 多変数空間的タスクにおける伝統的なサニフィケーションおよび聴覚ディスプレイの曇りや情報密度の低さを克服することを目的とする。
• 連続的で解釈可能かつ直交的な空間的ヒントを、高い精度と低レイテンシで伝えるユーザインタフェースの開発を目的とする。
• 視覚が制限されたり過負荷になる状況において、心理音響的サニフィケーションの実用的利点を示すことを目的とする。

提案手法

• 本手法は、物理的空間的データ（距離および方向）を、左右耳間レベル差（ILD）、左右耳間時間差（ITD）、および頭部関連伝達関数（HRTFs）といった知覚的音声属性にマッピングする心理音響的原則を用いる。
• バイナリオ音声技術を用いて、3次元空間座標を符号化する音声信号を設計し、軸ごとに知覚的線形性と直交性を保証する。
• 離散的でない連続的音声マッピング（earcons や聴覚的アイコンとは異なり）を採用することで、区間尺度または比尺度のデータを高分解能で表現する。
• レーダー、ライダー、または近接センサーからのセンサー情報をリアルタイムで音声フィードバックに統合し、レイテンシを最小限に抑え、応答性を確保する。
• 物理的データ値を知覚的線形音声パラメータに一致させることで、解釈可能性と絶対的大きさの表現を保証する。
• 認知的負荷を最小限に抑える設計となっており、学習時間を短縮し、聴覚的ごみを避けるために、必要な空間的情報のみを提供する。

実験結果

リサーチクエスチョン

• RQ1 心理音響的原則をどのように活用することで、曇りのない、連続的で高分解能な3次元空間的ナビゲーションのための聴覚的インタフェースを構築できるか？
• RQ2 視覚制限または視覚的過負荷の環境において、心理音響的サニフィケーションは、従来の視覚的および聴覚的UIに比べてどのように優れているか？
• RQ3 心理音響的サニフィケーションは、3つの直交軸に沿った方向および距離といった多次元空間的データを、知覚的線形性と直交性を保ちながら効果的に伝えることができるか？
• RQ4 心理音響的サニフィケーションは、手術ナビゲーション、消火活動、コンテナクレーン作業などの実世界の人間-機械インタラクション応用において、どのような実用的利点を提供するか？
• RQ5 ユーザーは、複雑なタスクにおいて、3次元空間的サニフィケーションのサインをどれほど早く解釈し、対応できるか？

主な発見

• 心理音響的サニフィケーションにより、数分間の訓練でユーザーは3次元空間的関係を正確に認識し、ナビゲートできる。
• 本手法は、高分解能と低レイテンシを実現し、3次元（x, y, z）の連続的で解釈可能かつ直交的な空間的ヒントを効果的に伝えることに成功した。
• シミュレーションおよび実世界のシナリオ（例：手術ナビゲーション、消火活動）において、聴覚的インタフェースは視覚的ヒントへの依存を低減し、空間認識能力を向上させた。
• 本システムは、存在検知のみを提供する従来のアラームや触覚フィードバックを上回り、方向および距離情報を明示的に提供する。
• HRTFsおよびITD/ILDに基づく局在化を活用したバイナリオ音声により、3次元空間における正確な音声局在化が可能となった。
• 本手法はスケーラブルかつ適応可能であり、位置および姿勢を含む6次元（例：6自由度制御）への拡張が可能である。