[논문 리뷰] Three Orthogonal Dimensions for Psychoacoustic Sonification

Tim Ziemer, Holger Schultheis|arXiv (Cornell University)|2019. 01. 01.

Music and Audio Processing참고 문헌 48인용 수 15

한 줄 요약

이 논문은 3차원 데이터 사운드화를 위한 세 가지 인지적으로 수직인 청각적 차원—높이, 음량, 톤—을 규명하고 실험적으로 검증한다. 단성음 청각 표시를 통해 21명의 초보 참가자들이 단지 5분의 노출만으로도 2차원 공간 위치를 정확하게 해석하였다. 이는 이 세 차원이 시각적 단서 없이도 명확하고 높은 정확도로 다차원 데이터를 해석할 수 있음을 보여준다.

ABSTRACT

Objective: Three perceptually orthogonal auditory dimensions for multidimensional and multivariate data sonification are identified and experimentally validated. Background: Psychoacoustic investigations have shown that orthogonal acoustical parameters may interfere perceptually. The literature hardly offers any solutions to this problem, and previous auditory display approaches have failed to implement auditory dimensions that are perceived orthogonally by a user. In this study we demonstrate how a location in three-dimensional space can be sonified unambiguously by the implementation of perceptually orthogonal psychoacoustic attributes in monophonic playback. Method: Perceptually orthogonal auditory attributes are identified from literature research and experience in music and psychoacoustic research. We carried out an experiment with 21 participants who identified sonified locations in two-dimensional space. Results: With just 5 minutes of explanation and exploration, naive users can interpret our multidimensional sonification with high accuracy. Conclusion: We identified a set of perceptually orthogonal auditory dimensions suitable for three-dimensional data sonification. Application: Three-dimensional data sonification promises blind navigation, e.g. for unmanned vehicles, and reliable real-time monitoring of multivariate data, e.g., in the patient care sector.

연구 동기 및 목표

• 다차원 사운드화에서 인지적 비수직성 문제를 해결함. 이는 청각적 매개변수가 상호 간섭하여 해석 가능성을 떨어뜨림.
• 기존 사운드화 및 청각 표시 시스템에서 신뢰할 수 있고 인지적으로 수직인 청각적 차원의 부족을 보완함.
• 세 가지 독립적인 인지적 차원을 지원하는 사운드화 시스템을 통해 다변량 또는 공간 데이터를 정확하고 실시간으로 해석할 수 있도록 함.
• 초보 청취자들도 최소한의 훈련으로 수동 청취만으로도 복잡한 공간 맵핑을 해석할 수 있음을 입증함.
• 맹각 주행 및 환자 모니터링과 같은 해석 가능성 요구가 높은 애플리케이션을 위한 검증된 사운드화 프레임워크 제공

제안 방법

• 청각 심리학 문헌과 경험적 연구를 바탕으로 세 가지 인지적으로 수직인 청각적 특성—높이(주파수), 음량(진폭), 톤(스펙트럼 에너지)—를 규명함.
• 이 세 차원을 2차원 평면의 공간 좌표(x, y, z)에 매핑하여 각각 별개의 인지적 축을 나타냄.
• 높이, 음량, 톤의 연속적이고 분리 가능한 변화를 사용해 공간 위치를 인코딩하는 단성음 사운드화 시스템을 설계함.
• 21명의 참가자가 청각적 단서만을 사용해 2차원 격자 내의 사운드화된 목표 위치를 식별하는 통제된 听음 실험을 실시함.
• 성능 평가를 위해 분산분석(ANOVA)과 켄달의 τ 검정을 사용하여 세 그룹(x-y, x-z, y-z) 간의 성능을 평가하고 인지적 수직성 여부를 분석함.
• Confusion 행렬과 성능 지표(정확도, 성공률)를 활용해 해석 정확도와 차원 간 간섭 정도를 정량화함.

실험 결과

연구 질문

• RQ1 단성음 사운드화 시스템에서 3차원 공간 데이터를 위한 세 가지 인지적으로 수직인 청각적 차원을 규명하고 구현할 수 있는가?
• RQ2 사전 훈련 없이도 초보 청취자들이 높이, 음량, 톤에 인코딩된 공간 위치를 얼마나 정확히 해석할 수 있는가?
• RQ3 두 개의 차원이 조합되었을 때 세 청각적 차원이 상호 간섭이나 혼동 없이 인지적으로 독립적인가?
• RQ4 x-y, x-z, y-z 쌍의 서로 다른 차원 조합 간에 사운드화된 위치 해석 성능을 비교해 수직성을 검증할 수 있는가?
• RQ5 이전 사운드화 버전에 노출된 이력이 해석 정확도에 영향을 미치는가? 즉, 학습 또는 적응 효과가 있는가?

주요 결과

• 참가자들은 사운드화된 2차원 공간 위치를 높은 정확도로 식별하였으며, 목표 영역에 따라 정답 선택 비율이 25%에서 90.9%까지 변동함.
• x-y 차원 쌍에서 이전 연구에 비해 유의미하게 높은 성능를 보였으며, 이는 최적화된 신호 매핑과 상호작용 탐색 덕분으로 여겨짐.
• 혼동 행렬에서 강한 대각선 패턴을 확인하였고, 이는 목표 영역가 가장 자주 선택되었음을 의미함. 그룹당 평균 2~3개의 목표 영역만 잘못 선택됨.
• 대부분의 혼동은 같은 사분면 내에서 발생하였고, 각 목표 영역에 대해 총 3~4개의 영역만 선택된 것으로 나타나, 명확한 인지적 분리가 이루어졌음을 시사함.
• 켄달의 τ 검정 결과, 혼동 행렬 간에 fair하지만 매우 유의미한 순위 상관관계(τ = 0.49–0.56, p < 10−18)를 보였으며, 이는 그룹 간 일관된 성능과 인지적 수직성을 뒷받침함.
• 세 차원 쌍(x-y, x-z, y-z) 간 성능에 유의미한 차이가 없었고, 이는 z축(톤)이 높이 및 음량과 인지적으로 수직임을 확인함.