[논문 리뷰] Direct Segmented Sonification of Characteristic Features of the Data Domain

Paul Vickers, Robert Höldrich|arXiv (Cornell University)|2017. 11. 30.

Music Technology and Sound Studies인용 수 6

한 줄 요약

이 논문은 시간적 구조를 유지하면서도 도메인 기반의 단위로 시간 시리즈 데이터를 겹치지 않는 영역으로 분할하고, 각 영역을 고유한 청각적 구조로 소니피케이션하는 Direct Segmented Sonification (DSSon)을 소개한다. DSSon은 소니피케이션과 재생 속도를 분리함으로써 시간 압축 또는 확장을 영리하게 가능하게 하여, 중요한 데이터 특징에 대한 직접적이고 효과적인 청각적 접근을 가능하게 하며, 수정된 청각 그래프를 사용하여 생체역학적 FRED 운동 데이터에서 이를 입증하였다.

ABSTRACT

Sonification and audification create auditory displays of datasets. Audification translates data points into digital audio samples and the auditory display's duration is determined by the playback rate. Like audification, auditory graphs maintain the temporal relationships of data while using parameter mappings (typically data-to-frequency) to represent the ordinate values. Such direct approaches have the advantage of presenting the data stream `as is' without the imposed interpretations or accentuation of particular features found in indirect approaches. However, datasets can often be subdivided into short non-overlapping variable length segments that each encapsulate a discrete unit of domain-specific significant information and current direct approaches cannot represent these. We present Direct Segmented Sonification (DSSon) for highlighting the segments' data distributions as individual sonic events. Using domain knowledge to segment data, DSSon presents segments as discrete auditory gestalts while retaining the overall temporal regime and relationships of the dataset. The method's structural decoupling from the sound stream's formation means playback speed is independent of the individual sonic event durations, thereby offering highly flexible time compression/stretching to allow zooming into or out of the data. Demonstrated by three models applied to biomechanical data, DSSon displays high directness, letting the data `speak' for themselves.

연구 동기 및 목표

• 직접 소니피케이션 방법이 이산적이고 도메인 특화된 데이터 세그먼트를 두드러지게 하지 못하는 한계를 해결하기 위해.
• 재생 속도와 세그먼트 지속 시간을 별도로 제어할 수 있도록 하면서도 데이터의 시간적 관계를 유지하기 위해.
• 도메인 기반 세그먼트화와 직접 소니피케이션을 통해 중요한 데이터 특징의 청각적 두드림을 향상시키기 위해.
• 강제적인 매핑을 최소화하여 데이터가 스스로 '말하도록' 하여 높은 직접성을 유지하기 위해.
• 수정된 청각 그래프를 사용하여 생체역학적 데이터의 후행 분석에 적용 가능성을 입증하기 위해.

제안 방법

• 시간 시리즈 데이터 스트림을 도메인 기반 기준(예: 추세 없음 신호에서의 0점 교차)에 따라 겹치지 않는 변수 길이의 세그먼트로 분할한다.
• 각 세그먼트를 독립적으로 소니피케이션하며, 음고, 음량, 톤 등 음향 파rameter에 세그먼트 특성(예: 평균, 최댓값, 변화 추세)을 매핑하는 수정된 청각 그래프 방법을 사용한다.
• 세그먼트 내 데이터 변화에 따라 음량을 조절하며, 큰 값에 대해 임계값을 설정하여 청각적 강조를 유도한다.
• 각 세그먼트의 기준 주파수를 세그먼트 특성(예: 부호, 추세)에 따라 개별적으로 설정하여 최적의 음고 영역 확보.
• 최종 오디오 스트림에 세그먼트의 소리 이벤트를 겹쳐서 삽입함으로써 원래의 시간 순서와 세그먼트 경계의 시간적 정렬을 유지한다.
• 재생 속도를 세그먼트 지속 시간과 분리함으로써, 데이터를 확대하거나 축소할 수 있는 영리한 시간 압축 또는 확장을 가능하게 한다.

실험 결과

연구 질문

• RQ1 직접 소니피케이션을 어떻게 개선하여 인위적인 매핑을 가하지 않고도 이산적이고 도메인 특화된 세그먼트를 두드러지게 할 수 있는가?
• RQ2 재생 속도를 세그먼트 지속 시간에서 분리하여 시간 압축 및 확대를 영리하게 가능하게 하기 위해선 어떻게 해야 하는가?
• RQ3 도메인 기반 세그먼트화가 청각 디스플레이에서 중요한 데이터 특징의 청각적 두드림을 어느 정도 향상시키는가?
• RQ4 수정된 청각 그래프는 직접성과 청각적 명료성을 향상시키기 위해 소니피케이션 세그먼트에 어떻게 적응시킬 수 있는가?
• RQ5 DSSon은 audification과 청각 그래프에 비해 생체역학적 데이터에서 생리학적으로 관련된 패턴을 어떻게 더 잘 드러내는가?

주요 결과

• DSSon은 재생 속도를 세그먼트 지속 시간과 분리함으로써 원래의 시간적 구조를 유지하면서도 영리한 시간 압축 및 확장을 가능하게 하였다.
• 예를 들어 속도 신호에서의 0점 교차와 같은 도메인 특화 세그먼트화는 FRED 운동 데이터에서 생리학적으로 관련된 사건을 효과적으로 분리하였다.
• 데이터 변화에 기반한 음량 조절은 세그먼트 내 고크기 값의 청각적 두드림을 향상시켰다.
• 각 세그먼트에 대해 개별적으로 음고를 설정함으로써 청취자에게서의 청취 가능성과 청각적 명료성이 향상되었으며, 특히 AC 유사 신호에서 두드러졌다.
• 청취자는 특징적인 소리로 관심 영역을 식별할 수 있었으며, 이는 탐색적 데이터 분석을 지원하였다.
• 음량 임계값 설정과 톤 설계에 따라 다양한 형태의 DSSon 모델 세 종류가 생체역학적 데이터의 효과적인 후행 분석을 가능하게 하였으며, 높은 직접성을 확보하였다.