[논문 리뷰] Interactive Sonification for Health and Energy using ChucK and Unity

Yichun Zhao, George Tzanetakis|arXiv (Cornell University)|2022. 10. 24.

Tactile and Sensory Interactions인용 수 2

한 줄 요약

이 논문은 ChucK와 Unity를 사용한 실시간, 사용자 제어가 가능한 음향화 프레임워크를 제시한다. 이 프레임워크는 뇌파 α 波와 대기 오염물질 농도와 같은 건강 및 에너지 데이터를 실시간으로 음향화할 수 있도록 하며, 새로운 기능으로 주파수 변조(FM) 합성과 교차 데이터 변조, 비교를 위한 교차 재생, 동적 음향 시각화를 포함한다. 이 프레임워크는 사용자가 음향 파rameter를 직관적으로 조작하여 복잡한 관계를 실시간으로 인지할 수 있도록 데이터 탐색을 향상시킨다.

ABSTRACT

Sonification can provide valuable insights about data but most existing approaches are not designed to be controlled by the user in an interactive fashion. Interactions enable the designer of the sonification to more rapidly experiment with sound design and allow the sonification to be modified in real-time by interacting with various control parameters. In this paper, we describe two case studies of interactive sonification that utilize publicly available datasets that have been described recently in the International Conference on Auditory Display (ICAD). They are from the health and energy domains: electroencephalogram (EEG) alpha wave data and air pollutant data consisting of nitrogen dioxide, sulfur dioxide, carbon monoxide, and ozone. We show how these sonfications can be re-created to support interaction utilizing a general interactive sonification framework built using ChucK, Unity, and Chunity. In addition to supporting typical sonification methods that are common in existing sonification toolkits, our framework introduces novel methods such as supporting discrete events, interleaved playback of multiple data streams for comparison, and using frequency modulation (FM) synthesis in terms of one data attribute modulating another. We also describe how these new functionalities can be used to improve the sonification experience of the two datasets we have investigated.

연구 동기 및 목표

• 건강 및 에너지 데이터셋에 대한 음향 매핑을 실시간으로 사용자 제어할 수 있는 재사용 가능한 상호작용형 음향화 프레임워크를 개발하는 것.
• 기존 툴킷을 넘어서 새로운 음향 합성 및 상호작용 기법을 도입하여 음향화 경험을 향상시키는 것.
• 프로그래밍 전문 지식이 없는 도메인 전문가가 직관적인 시각적 제어를 통해 음향화를 탐색하고 수정할 수 있도록 하는 것.
• 두 가지 사례 연구를 통해 프레임워크의 효과성을 입증하는 것: 뇌파 α 파동 데이터와 다중오염물질 대기질 데이터.
• 교차 데이터 변조, 교차 재생, 동적 음향 시각화와 같은 고급 음향화 기법을 지원하여 더 나은 데이터 비교 및 인지 능력을 확보하는 것.

제안 방법

• 프레임워크는 ChucK를 사용해 저수준에서 동시 음향 합성을 수행하고, Unity를 사용해 실시간 그래픽 사용자 인터페이스(GUI) 및 3D 음향 렌더링을 구현한다.
• 데이터 속성과 음향 파rameter(예: 음고, 진폭, 톤) 간의 상호작용 맵핑을 지원하며, 실시간 파rameter 조정도 가능하다.
• 교차 데이터 변조는 한 데이터 스트림(예: CO)이 다른 데이터 스트림의 실시간 캐리어 오실레이터(예: NO2)의 진폭을 조절하도록 구현하여 복잡하고 동적인 사운드 텍스처를 생성한다.
• 교차 재생은 각 데이터 포인트에서 여러 데이터 스트림(예: 네 가지 오염물질)을 순차적으로 음향화함으로써 각 속성의 개별적 인지가 더 명확해지도록 한다.
• 음향 시각화는 Unity의 파article 시스템을 사용해 음향 강도와 음고를 공간적으로 렌더링하며, 색상으로 데이터 속성 값을 반영하고 음향 특성에 따라 동적 군집화를 수행한다.
• 시스템은 동적 오실레이터 유형 선택 및 실시간 패닝 제어를 지원하여 사용자가 공간 음향 레이아웃과 사운드 텍스처를 실험적으로 조작할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 어떻게 상호작용형 음향화를 구현하여 건강 및 에너지 데이터의 실시간, 사용자 주도적 탐색을 지원할 수 있는가?
• RQ2 어떤 새로운 음향 합성 기법이 다중 데이터 스트림 간의 복잡한 관계를 더 잘 인지할 수 있도록 도와주는가?
• RQ3 교차 재생은 동시 재생에 비해 데이터 비교의 명확성과 정확성을 어떻게 향상시키는가?
• RQ4 동적 음향 시각화는 음향화된 데이터에 대한 직관적 이해를 어떻게 지원하는가?
• RQ5 ChucK의 음향 합성 능력과 Unity의 상호작용 및 시각적 기능을 통합해 비프로그래머를 위한 통합 프레임워크를 어떻게 설계할 수 있는가?

주요 결과

• 프레임워크는 ChucK와 Unity를 활용해 뇌파 및 대기 오염물질 데이터의 실시간, 상호작용형 음향화를 성공적으로 지원하며, 동적 파rameter 제어와 사용자 주도적 탐색을 가능하게 한다.
• 교차 데이터 FM 합성—한 데이터 스트림이 다른 스트림의 캐리어를 조절하는 방식—은 상호 속성 간 관계를 반영하는 perceptually distinct한 금속성 사운드 텍스처를 생성한다.
• 교차 재생은 사용자가 각 데이터 속성을 순차적으로 명확히 듣도록 하여 동시 재생 대비 인지 정확도를 향상시킨다.
• Unity의 파article 시스템을 사용한 음향 시각화는 음향 강도와 음고와 같은 동적 음향 기능을 효과적으로 표현하며, 색상으로 데이터 속성 값을 나타내고 군집화로 음향 강도를 반영한다.
• ChucK와 Unity의 통합은 프로그래밍 경험이 없는 도메인 전문가가 사용할 수 있는 매우 상호작용적이고 시각적으로 매력적인 음향화 환경을 제공한다.
• 프레임워크는 동적 오실레이터 유형 선택 및 실시간 패닝 제어와 같은 고급 기능을 지원하여 표현적 제어와 데이터의 공간적 인지 능력을 향상시킨다.