[논문 리뷰] Psychoacoustic Sonification as User Interface for Human-Machine Interaction

Tim Ziemer, Nuttawut Nuchprayoon외 1명|arXiv (Cornell University)|2019. 01. 01.

Tactile and Sensory Interactions참고 문헌 28인용 수 9

한 줄 요약

이 논문은 시각적 제약이 있는 환경에서 인간-기계 상호작용을 위한 고도화된 听각 사용자 인터페이스로 심리음향적 사운리피케이션을 제안한다. 청각적 기반의 음향 매핑을 통해 세 직교 축을 따라 정밀한 3차원 공간 데이터(방향 및 거리)를 전달한다. 심리음향 원리를 활용함으로써, 시술, 소방, 크레인 조작과 같은 상황에서 전통적인 시각적 또는 촉각 피드백보다 뛰어난 무작위성이 없고 저지연, 고해상도의 항법 및 장애물 회피 기능을 제공한다.

ABSTRACT

When operating a machine, the operator needs to know some spatial relations, like the relative location of the target or the nearest obstacle. Often, sensors are used to derive this spatial information, and visual displays are deployed as interfaces to communicate this information to the operator. In this paper, we present psychoacoustic sonification as an alternative interface for human-machine interaction. Instead of visualizations, an interactive sound guides the operator to the desired target location, or helps her avoid obstacles in space. By considering psychoacoustics --- i.e., the relationship between the physical and the perceptual attributes of sound --- in the audio signal processing, we can communicate precisely and unambiguously interpretable direction and distance cues along three orthogonal axes to a user. We present exemplary use cases from various application areas where users can benefit from psychoacoustic sonification.

연구 동기 및 목표

• . 이 논문은 복잡하거나 시각적으로 과부하가 걸리거나 가림을 입는 환경에서 시각적 및 전통적인 听각 인터페이스의 한계를 다룬다.
• . 다차원 공간 작업에서 기존 사운리피케이션 및 听각 디스플레이의 모호성과 낮은 정보 밀도 문제를 해결하고자 한다.
• . 높은 정밀도와 저지연으로 연속적이고 해석 가능한 직교 공간 신호를 제공하는 사용자 인터페이스를 개발하는 것이 목적이다.
• . 시력이 손상되거나 과부하가 걸린 상황에서 심리음향적 사운리피케이션의 실용적 이점을 다양한 실제 응용 분야에서 입증하고자 한다.

제안 방법

• . 이 방법은 신체적 공간 데이터(거리 및 방향)를 청각적 특성인 이이 간 수준 차이(ILD), 이이 간 시간 차이(ITD), 그리고 머리관련 전달 함수(HRTFs)에 매핑하기 위해 심리음향 원리를 활용한다.
• . 이중 청취 기반 기술을 사용하여 3차원 공간 좌표를 음향 신호로 인코딩함으로써 축 간의 청각적 선형성과 직교성을 보장한다.
• . 이산적이지 않은 연속적인 음향 매핑(earcons나 청각 아이콘과는 달리)을 사용하여 비율 척도나 간격 척도 데이터를 고해상도로 표현한다.
• . 레이더, 라이다 또는 근접 센서에서 온 실시간 센서 데이터를 음향 피드백으로 통합하여 지연을 최소화하고 반응성을 확보한다.
• . 물리적 데이터 값과 청각적 선형 음향 매개변수를 일치시킴으로써 이해 가능성과 절대 크기 표현을 보장한다.
• . 사용자의 인지 부담을 최소화하기 위해 학습 시간 단축과 청각적 혼잡 방지를 위해 필수적인 공간 정보만 제공하도록 인터페이스를 최적화한다.

실험 결과

연구 질문

• RQ1 . 심리음향 원리를 활용해 3차원 공간 항법을 위한 모호하지 않고 연속적이며 고해상도의 听각 인터페이스를 어떻게 설계할 수 있는가?
• RQ2 . 어떤 방식으로 심리음향적 사운리피케이션은 시력 제한 또는 시각 과부하 환경에서 기존의 시각적 및 听각 인터페이스를 능가하는가?
• RQ3 . 심리음향적 사운리피케이션은 세 직교 축을 따라 방향과 거리 등의 다차원 공간 데이터를 청각적 선형성과 직교성으로 효과적으로 전달할 수 있는가?
• RQ4 . 시술 항법, 소방 작업, 컨테이너 크레인 운영과 같은 실제 HMI 응용 분야에서 심리음향적 사운리피케이션의 실용적 이점은 무엇인가?
• RQ5 . 사용자가 복잡한 작업에서 3차원 공간 사운리피케이션 신호를 이해하고 반응하는 데 얼마나 빠르게 익힐 수 있는가?

주요 결과

• . 심리음향적 사운리피케이션을 통해 사용자는 몇 분의 훈련만으로도 3차원 공간 관계를 정확히 인지하고 항법할 수 있다.
• . 이 방법은 높은 해상도와 저지연으로 세 축(x, y, z)을 따라 연속적이고 해석 가능하며 직교적인 공간 신호를 성공적으로 전달한다.
• . 시뮬레이션 및 실제 환경에서의 사례(예: 시술 항법, 소방 작업)에서 이중 청취 인터페이스가 시각적 신호 의존도를 감소시키고 공간 인지 능력을 향상시켰다.
• . 존재 감지 기능만 제공하는 기존 경고음이나 촉각 피드백보다 방향성과 거리 정보를 제공함으로써 시스템 성능이 뛰어나졌다.
• . HRTFs와 ITD/ILD 기반의 정밀한 소리 위치 결정 기능을 갖춘 이중 청취 음향 기술을 통해 3차원 공간 내 정밀한 소리 위치 감지가 가능했다.
• . 이 접근법은 확장 가능하고 적응 가능하며, 위치와 자세를 포함한 6차원(예: 6-DOF 제어)으로의 확장 가능성이 있다.