[論文レビュー] Direct Segmented Sonification of Characteristic Features of the Data Domain

Paul Vickers, Robert Höldrich|arXiv (Cornell University)|Nov 30, 2017

Music Technology and Sound Studies被引用数 6

ひとこと要約

本論文は、時系列データを被域に依存する非重複領域に分割し、各領域を離散的な聴覚的グスタールとして音声化するが、元の時間的構造を保持するDirect Segmented Sonification (DSSon)という手法を紹介する。DSSonは、セグメント音声化と再生速度を分離することで、柔軟な時間圧縮／伸長を可能にし、顕著なデータ特徴への知覚的アクセスを高め、直接的かつ明確に実現する。バイオメカニカルなFRED運動データを用いた実験で、変更された聴覚的グラフを用いてその有効性が示された。

ABSTRACT

Sonification and audification create auditory displays of datasets. Audification translates data points into digital audio samples and the auditory display's duration is determined by the playback rate. Like audification, auditory graphs maintain the temporal relationships of data while using parameter mappings (typically data-to-frequency) to represent the ordinate values. Such direct approaches have the advantage of presenting the data stream `as is' without the imposed interpretations or accentuation of particular features found in indirect approaches. However, datasets can often be subdivided into short non-overlapping variable length segments that each encapsulate a discrete unit of domain-specific significant information and current direct approaches cannot represent these. We present Direct Segmented Sonification (DSSon) for highlighting the segments' data distributions as individual sonic events. Using domain knowledge to segment data, DSSon presents segments as discrete auditory gestalts while retaining the overall temporal regime and relationships of the dataset. The method's structural decoupling from the sound stream's formation means playback speed is independent of the individual sonic event durations, thereby offering highly flexible time compression/stretching to allow zooming into or out of the data. Demonstrated by three models applied to biomechanical data, DSSon displays high directness, letting the data `speak' for themselves.

研究の動機と目的

• 直接音声化手法の限界、すなわち離散的で被域特異的なデータセグメントを際立たせられない点を是正すること。
• 再生速度とセグメント長を独立して制御可能にすることで、データの時間的関係を保持しつつも、柔軟な時間圧縮／伸長を可能にすること。
• 被域に依存するセグメンテーションと直接音声化を組み合わせることで、顕著なデータ特徴の知覚的顕著性を高めること。
• 強制的なマッピングを最小限に抑え、データが「自分自身の声で語る」高さの直接性を維持すること。
• 変更された聴覚的グラフを用いて、バイオメカニカルデータの事後分析への適用可能性を示すこと。

提案手法

• 被域特異的基準（例：トレンドのない信号におけるゼロ交差）に基づき、重複のない可変長のセグメントにデータストリームを分割する。
• 各セグメントを、周波数、振幅、トーンといった音声パラメータにセグメントの特性をマッピングする、変更された聴覚的グラフ法を用いて個別に音声化する。
• セグメント内のデータの変化に基づき振幅変調を適用し、大きな値を強調することで知覚的強調を図る。
• 各セグメントの基準周波数を、符号やトレンドなどのセグメント特性に応じて個別に設定し、最適な周波数レンジを確保する。
• 最終的な音声ストリームに、セグメント境界の元の時間的順序とタイミングを保持するように音声イベントを重ね合わせる。
• 再生速度をセグメント長から分離することで、データのズームイン・ズームアウトに適した柔軟な時間圧縮・伸長が可能になる。

実験結果

リサーチクエスチョン

• RQ1 直接音声化を、人工的なマッピングを課さずに、離散的で被域特異的なデータセグメントを際立たせるように改善できるか？
• RQ2 再生速度をセグメント長から分離することで、柔軟な時間圧縮やズームイン・ズームアウトを実現できるか？
• RQ3 被域に依存するセグメンテーションは、聴覚的表示における顕著なデータ特徴の知覚的顕著性をどの程度向上させるか？
• RQ4 変更された聴覚的グラフは、音声化されたセグメントにおける直接性と知覚的明瞭性を向上させるために適応可能か？
• RQ5 DSSonは、生理的に関連のあるパターンをバイオメカニカルデータから明らかにする点で、オーディフィケーションや聴覚的グラフと比較してどのように優れているか？

主な発見

• DSSonは、再生速度をセグメント長から分離することで、元の時間的構造を保持しつつも、柔軟な時間圧縮・伸長を実現した。
• ゼロ交差を用いた被域特異的セグメンテーション（例：速度信号におけるゼロ交差）は、FRED運動データにおける生理的に関連するイベントを効果的に分離した。
• データの変化に基づく振幅変調により、セグメント内での高マグニチュード値の知覚的顕著性が向上した。
• セグメントごとに個別に周波数登録を行うことで、特にAC型信号において聴取性と知覚的明瞭性が向上した。
• 聴取者が特徴的な音を説明することで、注目領域を特定できるため、探索的データ分析を支援した。
• 振幅しきい値の設定とトーン設計の異なる3つのDSSonモデルが、高い直接性を維持しながら、バイオメカニカルデータの効果的な事後分析を実現した。