[논문 리뷰] Riddim: A Rhythm Analysis and Decomposition Tool Based On Independent Subspace Analysis

Iroro Orife|arXiv (Cornell University)|2017. 05. 13.

Music and Audio Processing참고 문헌 20인용 수 4

한 줄 요약

Riddim은 독립 부분공간 분석(ISA)을 사용하여 음악에서 계층적인 리듬 구조를 추출하는 계산 도구이다. 이 도구는 온셋을 검출하고, 상호 온셋 간격(IOI)을 계산하며, 최저 수준의 박자(가장 큰 공약수(GCD) 및 히스토그램 분석을 통해 확인)를 식별하고, 리듬을 다층적 시간적 구조로 모델링하여 청각적으로 유의미한 표기 및 실시간 연주 응용을 가능하게 한다.

ABSTRACT

The goal of this thesis was to implement a tool that, given a digital audio input, can extract and represent rhythm and musical time. The purpose of the tool is to help develop better models of rhythm for real-time computer based performance and composition. This analysis tool, Riddim, uses Independent Subspace Analysis (ISA) and a robust onset detection scheme to separate and detect salient rhythmic and timing information from different sonic sources within the input. This information is then represented in a format that can be used by a variety of algorithms that interpret timing information to infer rhythmic and musical structure. A secondary objective of this work is a "proof of concept" as a non-real-time rhythm analysis system based on ISA. This is a necessary step since ultimately it is desirable to incorporate this functionality in a real-time plug-in for live performance and improvisation.

연구 동기 및 목표

• 전자 음악 및 즉흥 음악 장르에서 전통적 악보가 존재하지 않는 복잡한 리듬 구조를 청각적으로 기반으로 한 계산 도구를 개발하기 위해.
• 기존의 기호 지식이나 악보 없이 오디오에서 계층적인 리듬 조직(박자, 군집, 템포)을 추출하는 데 도전하는 것.
• 온셋 타이밍, 강조, 템포 등의 특징를 파arameter화하여 작곡 및 분석 용도로 리듬 공간의 체계적 탐색을 가능하게 하기 위해.
• 실시간 연주 응용을 지원하기 위해 라이브 오디오 스트림의 동적 분석과 재해석을 가능하게 하여 즉흥 연주 및 메타-DJ를 가능하게 하기 위해.
• 시공간적 인식과 인과적 분석과 같은 청각 원리를 계산 프레임워크에 통합하여 리듬 인지 모델링을 가능하게 하기 위해.

제안 방법

• 실시간 처리를 위해 MATLAB과 MEX 인터페이스를 사용하며, C 서브루틴과 고수준 알고리즘 제어를 결합한다.
• 독립 부분공간 분석(ISA)을 적용하여 리듬 패턴을 통계적으로 독립적인 시간 부분공간으로 분해하고, 청각적 군집화와 계층성을 모델링한다.
• 정류, 스무딩 및 진폭 환경 피크 검출을 통해 온셋을 검출하여 타이밍 이벤트를 추출한다.
• 상호 온셋 간격(IOI)을 계산하고, 프레임 내 IOI의 히스토그램 분석을 통해 주요 박자 주기를 식별한다.
• 검출된 온셋들 간의 IOI의 최대공약수(GCD)를 사용하여 최저 수준의 박자를 결정한다.
• 시간적 맥락을 고려함으로써 비인과적 분석을 지원하며, 청각 기억과 시공간 인식 모델에 부합한다.

실험 결과

연구 질문

• RQ1 기존의 기호 지식 없이 계산 도구가 오디오에서 계층적인 리듬 구조(박자, 군집, 템포)를 어떻게 추출할 수 있는가?
• RQ2 독립 부분공간 분석은 음악에서 청각적으로 관련성이 있는 리듬 군집과 시간 계층을 얼마나 잘 모델링할 수 있는가?
• RQ3 상호 온셋 간격의 최대공약수(GCD)가 복잡하거나 다중 리듬적, 표현적인 음악적 구간에서 기본 박자를 신뢰성 있게 식별할 수 있는가?
• RQ4 즉흥 연주 및 메타-DJ와 같은 실시간 연주 응용에 리듬 분석을 어떻게 적응시킬 수 있는가?
• RQ5 시공간 인식과 청각 저장소는 오디오에서 리듬 구조의 인지 모델링에 어떤 역할을 하는가?

주요 결과

• Riddim은 온셋 간격의 GCD와 히스토그램 기반 IOI 분석을 통해 다중 리듬적 및 표현적인 오디오에서 최저 수준의 박자를 성공적으로 식별한다.
• 이 도구는 리듬 구조를 독립적인 시간 부분공간의 계층으로 모델링함으로써 청각적으로 의미 있는 리듬 분해를 가능하게 하며, 리듬 인지의 인지 모델과 일치한다.
• 시스템은 비인과적 분석을 지원하여 향상된 박자 및 군집 추정을 위해 시간적 맥락에 접근할 수 있다.
• 아키텍처는 확장 가능하며, MAX/MSP 외부 또는 VST 플러그인으로 실시간 배포가 가능하여 라이브 연주 응용을 지원한다.
• Riddim은 구체적인 오디오 샘플 대신 추상적인 리듬 패턴을 혼합할 수 있도록 하여 시간 변형 왜곡을 피하는 새로운 형태의 메타-DJ를 가능하게 한다.
• 이 프레임워크는 온셋 검출을 통합함으로써 향후 기본 주파수 추적 기능이 추가될 경우 자동 음악 표기의 기반을 제공한다.