[논문 리뷰] Kinetic surface friction rendering for interactive sonification: an initial exploration

Staas de Jong|arXiv (Cornell University)|2021. 07. 29.

Tactile and Sensory Interactions참고 문헌 6인용 수 3

한 줄 요약

이 논문은 실시간으로 프로그래밍 가능한 운동 표면 마찰을 렌더링하는 触각 시스템을 소개하며, 상호작용적 사운드화(interactive sonification)를 향상시켜 사용자가 물리적 상호작용 중 가상 데이터를 소리와 동적 촉각 피드백으로 동시에 인지할 수 있도록 한다. 프로토타입은 1차원 신호 데이터를 음향과 마찰 패턴으로 매핑하여, 마찰 렌더링이 사운드화된 가상 물체에 실재감 있는 존재감을 부여할 수 있음을 입증한다. 초기 평가 결과는 이 기술이 더 풍부한 다모odal 상호작용 잠재력을 지닌다는 점을 시사한다.

ABSTRACT

Inspired by the role sound and friction play in interactions with everyday objects, this work aims to identify some of the ways in which kinetic surface friction rendering can complement interactive sonification controlled by movable objects. In order to do this, a tactile system is presented which implements a movable physical object with programmable friction. Important aspects of this system include the capacity to display high-resolution kinetic friction patterns, the ability to algorithmically define interactions directly in terms of physical units, and the complete integration of audio and tactile synthesis. A prototype interaction spatially mapping arbitrary 1D signal data on a surface and directly converting these to sound and friction during movements across the surface is described. The results of a pilot evaluation of this interaction indicate how kinetic surface friction rendering can be a means for giving dynamically created virtual objects for sonification a tangible presence. Some specific possible roles for movement input and friction output are identified, as well as issues to be considered when applying and further developing this type of haptic feedback in the context of interactive sonification.

연구 동기 및 목표

• 운동 표면 마찰이 어떻게 상호작용적 사운드화를 향상시키고 실재감 있는 피드백을 제공할 수 있는지 조사하기 위해.
• 음향 출력과 동기화된 고해상도 마찰 패턴을 실시간으로 동적으로 렌더링할 수 있는 시스템을 개발하기 위해.
• 물리적 이동, 음향 합성, 촉각 피드백을 통합한 유일한 상호작용 프레임워크로 통합하기 위해.
• 마찰이 사운드화된 가상 물체에 인지 가능한 물리적 존재감을 부여하는 데 어떤 역할을 하는지 평가하기 위해.
• 사운드화에서 마찰 기반 촉각 피드백의 설계 고려사항과 잠재적 응용 분야를 규명하기 위해.

제안 방법

• 다양한 표면 텍스처를 시뮬레이션하기 위해 프로그래밍 가능한 마찰 인터페이스를 갖춘 물리적 이동 가능한 물체를 사용한다.
• 일관성과 정밀도를 확보하기 위해 물리 단위(예: N/m)를 사용해 마찰 패턴을 알고리즘적으로 정의한다.
• 1차원 신호 데이터를 표면 전체에 공간적으로 매핑하고, 사용자 이동 중에 직접 음향과 마찰 출력으로 변환한다.
• 음향과 촉각 합성이 완전히 통합되어 실시간으로 동기화된 피드백을 가능하게 한다.
• 사용자의 움직임에 따라 표면을 이동할 때 음향과 촉각 반응이 동시에 발생하는 동적이고 사용자 주도의 상호작용을 지원한다.
• 프로토타입은 임의의 신호 데이터를 음향과 마찰 피드백의 조합으로 매핑하는 것을 보여준다.

실험 결과

연구 질문

• RQ1 운동 표면 마찰을 어떻게 실시간으로 효과적으로 렌더링하여 상호작용적 사운드화를 보완할 수 있는가?
• RQ2 사운드화 과정에서 마찰이 가상 물체의 인지에 어떤 역할을 하는가?
• RQ3 사용자는 데이터 탐색 중 청각과 촉각 피드백의 통합을 어떻게 인지하는가?
• RQ4 신호 데이터를 마찰과 음향으로 매핑하는 데 어떤 설계 원칙이 적용되는가?
• RQ5 이러한 다모달 피드백 시스템을 구현할 때 기술적 및 인지적 과제는 무엇인가?

주요 결과

• 프로토타입은 사용자 이동 중 음향과 마찰 피드백이 실시간으로 동기화됨을 성공적으로 입증했다.
• 초기 평가 결과, 마찰 렌더링이 사운드화된 가상 물체에 더 강한 실재감 있는 존재감을 부여하는 데 기여함을 확인했다.
• 사용자들은 상호작용 중 음향과 마찰이 모두 존재할 경우 더 높은 수준의 인지적 몰입감을 경험했다고 보고했다.
• 시스템은 고해상도 마찰 패턴을 지원하여 세밀한 촉각 피드백을 가능하게 한다.
• 마찰 제어에 물리 단위를 통합함으로써 정밀하고 재현 가능한 상호작용 설계가 가능해졌다.
• 연구에서는 청각 피드백과 촉각 피드백 간의 인지적 일치 문제를 규명하였으며, 향후 보완이 필요함을 시사했다.