[논문 리뷰] Modeling synchronization in human musical rhythms using Impulse Pattern Formulation (IPF)

Simon Linke, Rolf Bader외 1명|arXiv (Cornell University)|2021. 12. 04.

Music Technology and Sound Studies인용 수 4

한 줄 요약

이 논문은 비선형 재귀 모델인 임펄스 패턴 형식화(Impulse Pattern Formulation, IPF)를 제안한다. 이 모델은 결합된 임펄스 트레인을 통해 템포 적응과 변동성을 모델링하여 인간과 유사한 리듬 동기화를 시뮬레이션한다. IPF는 템포 변화에 대한 반응과 다중리듬 결합과 같은 자연스러운 동기화 역학을 성공적으로 재현하며, 고정된 클릭 트랙보다 뛰어나며 라이브 및 스튜디오 음악 응용 분야에서 현실적이고 적응형 대안을 제공한다.

ABSTRACT

In the publication, supplemented by these sound examples, the Impulse Pattern Formulation is used to model the synchronization of musicians to a collective tempo. Several click tracks are numerically created, representing eighth notes played by a musician or a metronome for different tempo changes.<br> By replacing every beat with a sound sample, audio files are created for a more musical evaluation of the results. The IPF is represented by a cowbell and the underlying click track with claves. Those sound files are in stereo, whereby the click track is at the left channel, and the IPF's signal is at the right channel. Thus, e.g., the balance potentiometer of a stereo system can be used to blend both sounds freely. The practical examples are: <strong>Fig.2:</strong><br> IPF reacts to four different step changes in tempo. <strong>Fig.5:</strong><br> The IPF reacting to the same changes in tempo as shown in Figure 2, when changing the tempo linear during 24 beats instead of step changes. <strong>Fig.8:</strong><br> IPF adapting to a noisy click track: the upper line (a) and b)) shows white noise, and the lower line (c) and d)) Brownian noise. On the left (a) and c)), the fluctuation is \(\pm1~\%\), and on the right (b) and d)) \(\pm 5~\%\). <strong>Fig.9:</strong><br> IPF adapting to a sinusoidally modulated click track: the upper line (a) and b)) shows a modulation period of 32 eighth notes, and the lower line (c) and d)) shows a modulation period of 8 eighth notes. On the left (a) and c)), the amplitude is 36 bpm, and on the right (b) and d)) 6 bpm, both centered around 113 bpm. <strong>Fig.12:</strong><br> Several scenarios shown in Figures 2, 5, 8, and 9 applied to an extended IPF which considers phase differences: a) step change from 120 to 100 bpm, b) linear change from 120 to 130 bpm, c) \(\pm 5~\%\) Brownian noise added to a 120 bpm click track and d) sinusoidal modulation with a period length of 32 eight notes varied \(\pm 6~bpm\) around 113 bpm. <strong>Fig.13:</strong><br> Several scenarios shown in Figures 2, 5, 8, and 9 applied to an extended IPF optimized for polyrhythms: a) step change from 120 to 140 bpm, b) linear change from 100 to 120 bpm, c) \(\pm 5~\%\) Brownian noise added to a 90 bpm click track and d) sinusoidal modulation with a period length of 32 eight notes varied \(\pm 6~bpm\) around 113 bpm. In all Figures, blue lines refer to the tempo of the click track, and red lines correspond to the tempo of the IPF. The single crosses represent single beats. A more in-depth description of how these sounds were synthesized can be found in the publication supplemented by these examples: Linke, S., Bader, R., &amp; Mores, R. (2021). Modeling synchronization in human musical rhythms using Impulse Pattern Formulation (IPF). http://arxiv.org/pdf/2112.03218v1

연구 동기 및 목표

• 고정된 클릭 트랙과 metronome의 동적이고 적응형 대체재를 개발하여 연주자 간 자연스러운 인간의 동기화를 보다 잘 반영하고자 한다.
• 물리학에 영향을 받은 수학적 프레임워크를 사용하여 인간 리듬 동기화의 자율적이고 비선형적인 역학을 모델링하고자 한다.
• 인위적인 메트로놈을 대체할 수 있는 시스템을 개발하여 인간과 유사한 타이밍 변동성과 적응형 템포 추적 기능을 갖추고자 한다.
• 파rameter 조정을 통해 개인의 리듬적 특성과 창의적인 리듬 행동을 모델링할 수 있도록 하고자 한다.
• 실시간 구동이 가능하고 계산적으로 효율적인 모델을 제공하여 라이브 연주자 또는 디지털 오디오 워크스테이션과의 통합에 적합하게 하고자 한다.

제안 방법

• IPF는 지수적으로 감쇠되는 임펄스 트레인으로 표현된 리듬 이벤트 간 상호작용을 비선형 재귀 방정식으로 모델링한다.
• 음악가와 IPF 시스템의 임펄스 트레인 간 비선형 결합을 반사점 βk를 통해 반영함으로써 동기화를 시너지적 시스템으로 모델링한다.
• 입력 리듬에 따라 시스템의 출력 템포를 동적으로 조정하여 인간의 템포 변화에 대한 적응적 행동을 모방한다.
• 상태 전이와 일시적 반응을 포함하여 갑작스러운 변화와 히스테리시스를 재현할 수 있도록 한다.
• 반사점 βk와 결합 강도 등의 시스템 파라미터를 조정하여 다중리듬, 개인의 타이밍 특성 등 다양한 리듬 행동을 시뮬레이션할 수 있다.
• 통제된 템포 변화와 다중리듬 시퀀스에 대한 반응을 기반으로 기존 탭핑 실험과 인간 연주 데이터와의 비교를 통해 모델을 검증한다.

실험 결과

연구 질문

• RQ1 IPF 모델은 음악적 동기화에서 인간과 유사한 템포 변화 적응을 정확하게 시뮬레이션할 수 있는가?
• RQ2 고정 클릭 트랙 대비 IPF는 다중리듬 동기화 시나리오에서 어떻게 성능을 보이는가?
• RQ3 IPF는 인간 음악 연주에서 관찰되는 자연스럽고 자율적인 변동성을 어느 정도 재현할 수 있는가?
• RQ4 IPF는 개인의 리듬적 특성 또는 새로운 표현적 리듬 패턴을 생성하기 위해 조정 가능한가?
• RQ5 추가 반사점 βk의 포함이 실시간 응용에서 모델의 현실성과 계산 가능성에 어떤 영향을 미치는가?

주요 결과

• IPF는 템포의 단계적 변화에 짧은 혼돈적 일시적 반응을 보이며 성공적으로 적응하여 인간 연주자와 유사한 행동을 보였다.
• 다중리듬 시퀀스에 동기화되었을 때, IPF는 기반 리듬 관계에 해당하는 고유하고 분리된 최종 템포 비율을 유지하여 복잡한 리듬적 구조를 처리할 수 있음을 확인했다.
• 표준 설정에서 IPF의 효과적 템포 범위는 108–135 bpm로 관찰되었으며, 다중리듬 비율이 동시에 활성화될 경우 대역폭이 감소했다.
• 반사점 βk를 추가하면 세밀한 리듬 역학을 포착하는 데 모델의 능력이 크게 향상되었지만, 복잡도 증가는 항상 실시간 성능 향상으로 이어지지 않았다.
• 고정 클릭 트랙보다 IPF가 인간 동기화를 더 잘 모방했으며, 엄격한 박자를 강요하는 대신 템포 변화에 반응하기 때문이다.
• 모델는 현실적인 인간 타이밍을 모방하거나 새로운 표현적 리듬 행동을 생성하도록 조정할 수 있어, 기존 클릭 트랙을 초월한 창의적 잠재력을 제공한다.