[논문 리뷰] Body, Clothes, Water, and Toys: Media Towards Natural Music Expressions with Digital Sounds

Kenji Mase, Tomoko Yonezawa|arXiv (Cornell University)|2020. 10. 04.

Interactive and Immersive Displays참고 문헌 4인용 수 4

한 줄 요약

이 논문은 신체, 옷, 물, 장난감과 같은 일상적인 소재를 활용하여 표현적이고 직관적인 디지털 음악 제어를 가능하게 하는 새로운 음악 인터페이스를 제시한다. 주요 기여는 신체적이고 유물적인 상호작용을 통해 자연스러운 음악 표현을 향상시키는 저비용의 다중 모odal 악기 세트를 개발한 것이다.

ABSTRACT

In this paper, we introduce our research challenges for creating new musical instruments using everyday-life media with intimate interfaces, such as the self-body, clothes, water and stuffed toys. Various sensor technologies including image processing and general touch sensitive devices are employed to exploit these interaction media. The focus of our effort is to provide user-friendly and enjoyable experiences for new music and sound performances. Multimodality of musical instruments is explored in each attempt. The degree of controllability in the performance and the richness of expressions are also discussed for each installation.

연구 동기 및 목표

• 일상적인 물리적 매체가 디지털 음악을 위한 표현적 인터페이스로 활용될 잠재성을 탐색하기 위해.
• 비전통적 소재를 사용하여 직관적이고 즐겁고 제어 가능한 음악 경험을 창출하는 데 도전하기 위해.
• 다중 모달 피드백과 센서 통합이 디지털 사운드 연주에서 사용자의 표현력을 어떻게 향상시키는지 조사하기 위해.
• 신체적 상호작용을 통해 풍부하고 자연스러운 음악 표현을 지원하는 저비용이고 접근 가능한 악기를 개발하기 위해.

제안 방법

• 접촉 센서, 영상 처리, 가속도계를 활용해 신체, 옷, 물, 장난감과의 상호작용을 감지하기 위해.
• 실시간으로 신체 동작과 물질적 특성을 디지털 사운드 합성에 매핑하는 상호작용형 설치물을 설계하기 위해.
• 촉각, 시각적, 청각 반응을 조합하여 사용자 참여를 향상시키는 다중 모달 피드백을 통합하기 위해.
• 일반적인 센서 기술을 활용해 다양한 공연 환경에서의 접근성과 적응 가능성 확보하기 위해.
• 신체적 동작과 사운드 출력 사이의 직관적 매핑에 집중하여 표현적 제어를 지원하기 위해.
• 성능 기반 평가를 통해 제어 가능성과 표현력을 평가하기 위해.

실험 결과

연구 질문

• RQ1 옷과 물과 같은 일상적인 물리적 소재를 어떻게 효과적으로 표현적 음악 인터페이스로 전환할 수 있는가?
• RQ2 신체적 상호작용과 디지털 사운드 생성 간의 직관적이고 반응적인 매핑을 가능하게 하는 센서 기술은 무엇인가?
• RQ3 다중 모달 피드백과 신체적 상호작용은 디지털 음악 연주에서 사용자의 표현력과 만족도를 어느 정도 향상시키는가?
• RQ4 실시간 공연 환경에서 비전통적 악기의 제어 가능성과 표현력을 어떻게 정량적으로 평가할 수 있는가?
• RQ5 접근 가능하고 저비용인 악기를 만들기 위해 필요한 설계 원칙은 무엇인가?

주요 결과

• 신체, 옷, 물, 장난감의 사용은 사용자가 강한 정서적 및 신체적 참여를 느낄 정도로 매우 직관적이고 표현적인 음악 상호작용을 가능하게 했다.
• 센서 기반 매핑을 통해 실시간으로 반응하는 사운드 생성이 가능했으며, 다양한 소재 간에 미세한 음악적 표현이 가능했다.
• 촉각, 시각적, 청각 자극을 조합한 다중 모달 피드백은 사용자가 제어감과 표현력을 더 잘 느끼게 해 주었다.
• 사용자들은 특히 친숙한 물리적 특성을 활용한 상호작용에서 높은 수준의 즐거움과 자연스러움을 느꼈다.
• 직접 촉각과 운동 감지 기술을 사용한 시스템에서 제어 가능성은 가장 높았으며, 물 기반 인터페이스는 유체역학적 특성 덕분에 고유한 표현 잠재력을 보였다.
• 적절한 감지 및 매핑 기술과 결합할 경우 저비용이고 접근 가능한 소재도 고도의 음악적 표현을 지원할 수 있음을 연구에서 입증했다.