[論文レビュー] Interactive Sonification for Health and Energy using ChucK and Unity

Yichun Zhao, George Tzanetakis|arXiv (Cornell University)|Oct 24, 2022

Tactile and Sensory Interactions被引用数 2

ひとこと要約

本論文では、ChucKとUnityを用いたインタラクティブなサウンド化フレームワークを提示する。このフレームワークは、ユーザーがリアルタイムで制御可能な音声化を可能にし、特にEEGのアルファ波と大気汚染物質濃度といった健康およびエネルギー関連データを対象としている。新規機能として、クロスデータ変調を伴うFM合成、比較用のインタリーブド再生、動的オーディオ可視化が実装されている。このフレームワークにより、ユーザーが音声パラメータを直感的に操作することで、複雑な関係性をリアルタイムで把握できるようになる。

ABSTRACT

Sonification can provide valuable insights about data but most existing approaches are not designed to be controlled by the user in an interactive fashion. Interactions enable the designer of the sonification to more rapidly experiment with sound design and allow the sonification to be modified in real-time by interacting with various control parameters. In this paper, we describe two case studies of interactive sonification that utilize publicly available datasets that have been described recently in the International Conference on Auditory Display (ICAD). They are from the health and energy domains: electroencephalogram (EEG) alpha wave data and air pollutant data consisting of nitrogen dioxide, sulfur dioxide, carbon monoxide, and ozone. We show how these sonfications can be re-created to support interaction utilizing a general interactive sonification framework built using ChucK, Unity, and Chunity. In addition to supporting typical sonification methods that are common in existing sonification toolkits, our framework introduces novel methods such as supporting discrete events, interleaved playback of multiple data streams for comparison, and using frequency modulation (FM) synthesis in terms of one data attribute modulating another. We also describe how these new functionalities can be used to improve the sonification experience of the two datasets we have investigated.

研究の動機と目的

• 健康およびエネルギーデータセットの音声マッピングをリアルタイムでユーザーが制御できる再利用可能でインタラクティブなサウンド化フレームワークの開発。
• 標準的なツールキットを超える、新規な音声合成およびインタラクション技術の導入により、サウンド化体験の向上。
• プログラミング経験のないドメイン専門家が、直感的で視覚的なコントロールを用いてサウンド化を探索および変更できる環境の提供。
• 2つの事例研究（EEGアルファ波データおよび複数汚染物質の大気質データ）を通じて、フレームワークの有効性の検証。
• クロスデータ変調、インタリーブド再生、動的オーディオ可視化といった高度なサウンド化手法を支援し、データ比較および認識の向上を図ること。

提案手法

• フレームワークは、ChucKを用いた低レベルでの同時音声合成と、Unityを用いたリアルタイムのグラフィカルユーザーインターフェース（GUI）および3次元音声レンダリングを統合している。
• 音高、振幅、トーンといった音声パラメータへのデータ属性のインタラクティブなマッピングを可能にし、リアルタイムでのパラメータ調整をサポートしている。
• クロスデータ変調は、あるデータストリーム（例：CO）が、別のストリーム（例：NO2）のキャリアオシレーターの振幅を変調することで実装されており、複雑でダイナミックな音響テクスチャを生成する。
• インタリーブド再生により、各データポイントで複数のデータストリーム（例：4種の汚染物質）を順次音声化でき、各属性の個別的な聴取が明確になる。
• オーディオ可視化では、Unityのパーティクルシステムを用いて音の強さと高さを空間的に表現し、色分けされたパーティクルがデータ属性の値を反映し、音響的特徴に基づいた動的クラスタリングが行われる。
• システムは動的オシレーター種別選択とリアルタイムパンニング制御をサポートしており、ユーザーが空間的音響レイアウトや音響テクスチャを実験的に操作できる。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、健康およびエネルギーデータのリアルタイムでユーザー主導の探索を支援するインタラクティブなサウンド化を実装できるか？
• RQ2 複数のデータストリーム間の複雑な関係性をよりよく認識するために、どのような新規な音声合成技術が有効か？
• RQ3 同時再生と比較して、インタリーブド再生はデータ比較の明瞭さと正確性をどのように向上させるか？
• RQ4 動的オーディオ可視化は、どのようにしてサウンド化されたデータの直感的理解を支援するか？
• RQ5 ChucKの音声合成の強力な機能と、Unityのインタラクティブで視覚的な能力を統合した統一フレームワークは、プログラミング経験のないユーザーにとってどのように実現可能か？

主な発見

• フレームワークは、ChucKとUnityを用いて、EEGおよび大気汚染物質データのリアルタイムでインタラクティブなサウンド化を成功裏に実現し、動的パラメータ制御とユーザー主導のデータ探索を可能にした。
• クロスデータFM合成（あるデータストリームが別のストリームのキャリアの振幅を変調）により、相互関係を反映した明確に識別可能な金属質の音響テクスチャが生成され、聴覚的に特徴的な表現が得られた。
• インタリーブド再生により、ユーザーは順次的に各データ属性を明確に聞き分けることができ、同時に再生する場合と比較して、認識の正確性が向上した。
• Unityのパーティクルシステムを用いたオーディオ可視化は、音量や高さといった動的音響特徴を効果的に表現しており、色分けされたパーティクルがデータ属性の値を示し、クラスタリングが音の強さを反映していた。
• ChucKとUnityの統合により、プログラミング経験のないドメイン専門家が使用可能な、非常にインタラクティブで視覚的に魅力的なサウンド化環境が実現された。
• フレームワークは動的オシレーター選択やリアルタイムパンニング制御といった高度な機能をサポートしており、表現的制御およびデータの空間的認識を強化した。