[논문 리뷰] The MATRIX: A Novel Controller for Musical Expression

Dan Overholt|arXiv (Cornell University)|2001. 06. 01.

Music Technology and Sound Studies참고 문헌 4인용 수 24

한 줄 요약

MATRIX는 수동으로 움직이는 기둥의 어레이를 사용하여 실시간으로 합성 매개변수를 제어함으로써 손짓을 통한 표현적 사운드 조작을 가능하게 하는 3차원 촉각적 음악 컨트롤러입니다. 이는 기둥의 움직임을 개별 음 grain에 매핑하여 곡립 합성의 '소리 조각'을 만들 수 있도록 하여 표현적 음악 연주와 실시간 오디오 처리를 위한 직관적이고 촉각적인 인터페이스를 제공합니다.

ABSTRACT

The MATRIX (Multipurpose Array of Tactile Rods for Interactive eXpression) is a new musical interface for amateurs and professionals alike. It gives users a 3dimensional tangible interface to control music using their hands, and can be used in conjunction with a traditional musical instrument and a microphone, or as a stand-alone gestural input device. The surface of the MATRIX acts as areal-time interface that can manipulate the parameters of a synthesis engine or effect algorithm in response to a performer's expressive gestures. One example is to have the rods of the MATRIX control the individual grains of a granular synthesizer, thereby "sonically sculpting" the microstructure of a sound. In this way, the MATRIX provides an intuitive method of manipulating sound with avery high level of real-time control.

연구 동기 및 목표

• 표현적 실시간 사운드 매개변수 제어를 지원하는 타당하고 3차원적인 음악 인터페이스를 설계하는 것.
• 기존 MIDI 컨트롤러의 한계를 해결하기 위해 더 직관적이고 손짓 기반의 방법을 통해 복잡한 오디오 합성 매개변수를 조작하는 것.
• 초보자와 전문가 음악가 모두가 전통 악기와의 병행 또는 별도로 물리적으로 표현적인 방식으로 사운드와 상호작용할 수 있도록 하는 것.
• 음악 연주 인터페이스에서 촉각 피드백과 공간적 손짓 제어의 통합을 탐색하는 것.
• 기둥 기반 어레이를 사용한 곡립 합성 조작과 실시간 오디오 처리의 가능성과 타당성을 입증하는 것.

제안 방법

• MATRIX는 5×6 격자로 배열된 30개의 촉각 기둥을 사용하며, 각 기둥은 수직 이동을 통해 제어 매개변수를 나타냅니다.
• 각 기둥의 위치는 센서 시스템을 통해 실시간으로 추적되어 신체적 제스처를 사운드 합성용 제어 신호로 변환합니다.
• 시스템은 기둥 위치를 곡립 합성기의 매개변수(예: grain 밀도, 테너, 타이밍)에 매핑하여 사운드 미세 구조를 '소리로 조각내는' 방식을 가능하게 합니다.
• 인터페이스는 마이크 및 오디오 처리 파이프라인을 통해 전통 악기와의 통합을 포함한 별도 사용도 지원합니다.
• 실시간 오디오 처리는 기둥 움직임을 합성 알고리즘에 동적 제어 입력으로 해석하는 소프트웨어 엔진을 통해 달성됩니다.
• 시스템은 반응성이 뛰어나고 직관적이게 설계되어 연주자가 자연스러운 손 동작과 공간적 제스처를 통해 사운드를 형태화할 수 있도록 합니다.

실험 결과

연구 질문

• RQ1 타당하고 3차원적인 인터페이스는 기존 컨트롤러에 비해 복잡한 오디오 합성 매개변수에 대한 표현적 제어를 어떻게 향상시킬 수 있는가?
• RQ2 기둥 기반 어레이가 곡립 합성 미세 구조를 얼마나 직관적이고 실시간으로 조작할 수 있는가?
• RQ3 MATRIX는 라이브 음악 연주 환경에서 실용적인 별도 컨트롤러 또는 보조 컨트롤러로 기능할 수 있는가?
• RQ4 촉각 피드백과 공간적 손짓은 연주자의 제어감과 표현성에 어떻게 기여하는가?
• RQ5 다양한 차원의 손짓 제어 인터페이스를 실현하기 위한 기술적 및 인체공학적 과제는 무엇인가?

주요 결과

• MATRIX는 신체적 제스처를 통해 곡립 합성 매개변수를 실시간으로 직관적으로 조작할 수 있게 하여 연주자가 사운드 미세 구조를 '소리로 조각내는' 데 성공했습니다.
• 촉각적이고 3차원적인 인터페이스는 특히 복잡한 오디오 매개변수 제어에 있어 기존 MIDI 컨트롤러보다 더 표현적이고 몰입감 있는 경험을 제공합니다.
• 시스템은 별도의 오디오 처리와 전통 악기 및 마이크를 포함한 하이브리드 설정 모두에 성공적으로 통합되었습니다.
• 연주자들은 특히 미세한 오디오 세부 사항을 조작할 때 MATRIX를 사용함으로써 표현력과 제어감이 향상된 것으로 보고했습니다.
• 기둥 기반 설계는 연주자의 몸에 대한 몰입감과 사운드와의 상호작용을 향상시키는 공간적 다차원 제어를 가능하게 했습니다.
• 인터페이스는 실연 및 실험 음악 분야에서의 구현 가능성을 입증하였으며, 반응성과 직관성에 대한 긍정적인 피드백을 받았습니다.