[논문 리뷰] Evaluation of short range depth sonifications for visual-to-auditory sensory substitution

Louis Commère, Jean Rouat|arXiv (Cornell University)|2023. 04. 11.

Tactile and Sensory Interactions인용 수 4

한 줄 요약

이 연구는 시각에서 청각으로의 감각 보정을 위한 망각된 블라인드 사용자를 대상으로, 주파수, 진폭, 비프음의 반복 빈도, 리버브, 신호 대 잡음비와 같은 다섯 가지 깊이 사운드화 기법을 평가한다. 시력이 있는 망각된 참가자를 대상으로 한 실험에서, 비프음의 반복 빈도가 다른 방법들보다 더 정확하고 기억에 오래 남는 깊이 인식을 제공함을 발견하였다. 이는 위치 정확도와 사용자 인식 측면에서 모두 뛰어난 성능을 보였다.

ABSTRACT

Visual to auditory sensory substitution devices convert visual information into sound and can provide valuable assistance for blind people. Recent iterations of these devices rely on depth sensors. Rules for converting depth into sound (i.e. the sonifications) are often designed arbitrarily, with no strong evidence for choosing one over another. The purpose of this work is to compare and understand the effectiveness of five depth sonifications in order to assist the design process of future visual to auditory systems for blind people which rely on depth sensors. The frequency, amplitude and reverberation of the sound as well as the repetition rate of short high-pitched sounds and the signal-to-noise ratio of a mixture between pure sound and noise are studied. We conducted positioning experiments with twenty-eight sighted blindfolded participants. Stage 1 incorporates learning phases followed by depth estimation tasks. Stage 2 adds the additional challenge of azimuth estimation to the first stage's protocol. Stage 3 tests learning retention by incorporating a 10-minute break before re-testing depth estimation. The best depth estimates in stage 1 were obtained with the sound frequency and the repetition rate of beeps. In stage 2, the beep repetition rate yielded the best depth estimation and no significant difference was observed for the azimuth estimation. Results of stage 3 showed that the beep repetition rate was the easiest sonification to memorize. Based on statistical analysis of the results, we discuss the effectiveness of each sonification and compare with other studies that encode depth into sounds. Finally we provide recommendations for the design of depth encoding.

연구 동기 및 목표

• 5종의 깊이 사운드화 전략이 시각에서 청각으로의 감각 보정 시스템에서 얼마나 효과적인지 평가하고 비교하기.
• 3D 센서 데이터를 사용할 때 블라인드 사용자가 가장 정확하고 기억에 오래 남는 깊이 추정을 가능하게 하는 사운드화 방법을 특정하기.
• 깊이 센서를 기반으로 하는 미래의 감각 보정 장치 설계를 위한 증거 기반 설계 권고 제공하기.
• 학습, 작업 복잡도, 기억 유지 조건에서 사운드화 성능에 차이가 있는지 조사하기.
• 사운드화 설계에서 지각적 자연성과 다중감각 대응 관계의 역할 평가하기.

제안 방법

• 3단계 실험 수행: (1) 학습을 고려한 깊이 추정, (2) 깊이 및 방위각 추정 통합, (3) 10분 휴식 후 기억 유지 테스트.
• 시각 피드백을 제거하기 위해 28명의 시력이 있는 망각된 참가자를 사용하여 사운드화 작업 동안 시각적 자극을 차단함.
• 다섯 가지 사운드화 방법 평가: 주파수, 진폭, 짧은 고주파 비프음의 반복 빈도, 리버브, 순수 톤과 잡음의 혼합된 신호 대 잡음비.
• 절대 위치 오차를 측정하고 통계적 분석을 통해 각 사운드화 방법 간 성능 비교.
• 유의미성 검정을 위한 기준 성능을 확보하기 위해 우연의 오차를 (b−a)/3로 계산함.
• 각 사운드화 방법의 지각적 자연성과 직관성에 대한 질적 피드백 수집함.

실험 결과

연구 질문

• RQ1 단거리(1미터 이내) 환경에서 어떤 깊이 사운드화 기법이 가장 정확한 깊이 추정을 제공하는가?
• RQ2 방위각 추정이 포함될 경우, 다양한 사운드화 전략의 성능에 어떤 영향을 미치는가?
• RQ3 10분 후 지연된 기억 테스트에서 어떤 사운드화가 가장 잘 기억되는가? 이는 장기적 사용 가능성에 대한 시사점을 제공한다.
• RQ4 지각적 자연성과 다중감각 대응 관계는 사용자 선호도 및 성능에 어떤 영향을 미치는가?
• RQ5 시력이 있는 망각된 참가자로부터의 결과를 실제 응용에서 블라인드 사용자에게 일반화할 수 있는가?

주요 결과

• 제1단계에서 비프음의 반복 빈도가 다른 사운드화 방법들보다 유의미하게 낮은 절대 위치 오차를 보이며 가장 정확한 깊이 추정을 제공함.
• 제2단계에서는 방위각 추정이 포함되었지만, 비프음의 반복 빈도가 여전히 가장 뛰어난 성능을 보였으며, 다양한 방법 간에 방위각 추정 정확도에 유의미한 차이가 없었음.
• 비프음의 반복 빈도는 깊이를 인코딩하는 데 가장 자연스럽고 직관적인 방법으로 평가되었으며, 참가자들이 다른 방법들보다 일관되게 선호함.
• 제3단계에서 비프음의 반복 빈도가 가장 기억에 오래 남는 사운드화로 나타났으며, 10분 후 휴식 후 오차가 가장 낮음.
• 주파수 기반 사운드화는 양적 정확도는 양호했지만, 직관성이 떨어지고 깊이와의 자연스러운 연관성이 떨어짐.
• 순수 톤과 화이트 노이즈의 혼합 사운드화는 강한 질적 피드백을 받았고 잠재력이 있었지만, 비프음 반복 빈도보다 정확도가 떨어짐.