[論文レビュー] Modeling synchronization in human musical rhythms using Impulse Pattern Formulation (IPF)

Simon Linke, Rolf Bader+1 more|arXiv (Cornell University)|Dec 4, 2021

Music Technology and Sound Studies被引用数 4

ひとこと要約

本稿では、カップリングされたインパルストレインを通じてテンポの適応と変動をモデル化することにより、人間らしい同期を再現する非線形再帰的モデル、インパルスパターン定式化（IPF）を提案する。IPFは、テンポ変化への応答やポリリズム的結合を含む自然な同期ダイナミクスを成功裏に再現し、固定クロックトラックに比べて優れた性能を示し、ライブおよびスタジオ音楽用途における現実的で適応的な代替手段を提供する。

ABSTRACT

In the publication, supplemented by these sound examples, the Impulse Pattern Formulation is used to model the synchronization of musicians to a collective tempo. Several click tracks are numerically created, representing eighth notes played by a musician or a metronome for different tempo changes.<br> By replacing every beat with a sound sample, audio files are created for a more musical evaluation of the results. The IPF is represented by a cowbell and the underlying click track with claves. Those sound files are in stereo, whereby the click track is at the left channel, and the IPF's signal is at the right channel. Thus, e.g., the balance potentiometer of a stereo system can be used to blend both sounds freely. The practical examples are: <strong>Fig.2:</strong><br> IPF reacts to four different step changes in tempo. <strong>Fig.5:</strong><br> The IPF reacting to the same changes in tempo as shown in Figure 2, when changing the tempo linear during 24 beats instead of step changes. <strong>Fig.8:</strong><br> IPF adapting to a noisy click track: the upper line (a) and b)) shows white noise, and the lower line (c) and d)) Brownian noise. On the left (a) and c)), the fluctuation is \(\pm1~\%\), and on the right (b) and d)) \(\pm 5~\%\). <strong>Fig.9:</strong><br> IPF adapting to a sinusoidally modulated click track: the upper line (a) and b)) shows a modulation period of 32 eighth notes, and the lower line (c) and d)) shows a modulation period of 8 eighth notes. On the left (a) and c)), the amplitude is 36 bpm, and on the right (b) and d)) 6 bpm, both centered around 113 bpm. <strong>Fig.12:</strong><br> Several scenarios shown in Figures 2, 5, 8, and 9 applied to an extended IPF which considers phase differences: a) step change from 120 to 100 bpm, b) linear change from 120 to 130 bpm, c) \(\pm 5~\%\) Brownian noise added to a 120 bpm click track and d) sinusoidal modulation with a period length of 32 eight notes varied \(\pm 6~bpm\) around 113 bpm. <strong>Fig.13:</strong><br> Several scenarios shown in Figures 2, 5, 8, and 9 applied to an extended IPF optimized for polyrhythms: a) step change from 120 to 140 bpm, b) linear change from 100 to 120 bpm, c) \(\pm 5~\%\) Brownian noise added to a 90 bpm click track and d) sinusoidal modulation with a period length of 32 eight notes varied \(\pm 6~bpm\) around 113 bpm. In all Figures, blue lines refer to the tempo of the click track, and red lines correspond to the tempo of the IPF. The single crosses represent single beats. A more in-depth description of how these sounds were synthesized can be found in the publication supplemented by these examples: Linke, S., Bader, R., &amp; Mores, R. (2021). Modeling synchronization in human musical rhythms using Impulse Pattern Formulation (IPF). http://arxiv.org/pdf/2112.03218v1

研究の動機と目的

• 固定クロックトラックや metronome の代替として、音楽アンサンブルにおける自然な人間の同期をよりよく反映する動的で適応的な手法を開発すること。
• 物理学にインspiredされた数学的フレームワークを用いて、人間のリズミカルな同期の自己組織的で非線形なダイナミクスをモデル化すること。
• 人工的なメトロノームに代わって、人間らしいタイミングのばらつきと適応的テンポ追従を示すシステムを導入すること。
• パrameterチューニングにより、個々のリズム的特徴や創造的なリズム的行動をモデル化できること。
• ライブミュージシャンやデジタルオーディオワークステーションとの統合に適した、計算効率的でリアルタイム対応可能なモデルを提供すること。

提案手法

• IPFは、リズミカルなイベントを表す指数的減衰型インパルストレインの相互作用を非線形再帰方程式でモデル化する。
• ミュージシャンとIPFシステムのインパルストレインが反射点βkを通じて非線形に結合する、協同的システムとしての同期をモデル化する。
• システムは入力リズムに応じて出力テンポを動的に調整し、テンポ変化への人間の適応的行動を模倣する。
• 位相遷移と過渡応答を組み込むことで、同期における急激なシフトやヒステリシスを再現可能となる。
• 反射点βkや結合強度などのシステムパラメータをチューニングすることで、ポリリズムや個々のタイミング的特徴を含むさまざまなリズム的行動を模倣可能である。
• 制御されたテンポ変化およびポリリズム的シーケンスに対する反応を、既存のタッピング実験および人間のパフォーマンスデータと比較することで、モデルの妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 IPFモデルは、音楽的同期におけるテンポ変化への人間らしい適応を正確に再現できるか？
• RQ2 固定クロックトラックと比較して、IPFはポリリズム的同期シナリオでどの程度の性能を示すか？
• RQ3 IPFは、人間の音楽的パフォーマンスで観察される自然で自己組織的なばらつきをどの程度再現できるか？
• RQ4 IPFは、個々のリズム的特徴を模倣するか、あるいは新しい表現的なリズムパターンを生成するようにチューニング可能か？
• RQ5 追加の反射点βkを含めることで、モデルの現実性とリアルタイム応用における計算可能性にどのような影響が生じるか？

主な発見

• IPFは、テンポの段階的変化に短い混沌とした過渡状態を示しながらも、人間のミュージシャンと類似した行動を示し、適応性を示した。
• ポリリズム的シーケンスに同期した際、IPFは元のリズム的関係に対応する明確で離散的な最終テンポ比を維持し、複雑なリズム的構造の処理能力を確認した。
• 標準設定下で、IPFの有効なテンポ範囲は108–135 bpmであったが、複数のポリリズム的比が同時に作用していると帯域が狭くなった。
• 反射点βkの追加により、モデルの繊細なリズム的ダイナミクスの捉え込み能力が顕著に向上したが、複雑さの増加が必ずしもリアルタイムパフォーマンスの向上を意味しなかった。
• IPFは固定クロックトラックを上回り、テンポの変化に応じて反応するのではなく、硬直的なビートを強制するのではなく、人間の同期を模倣した。
• モデルは、現実的な人間のタイミングを模倣するか、あるいは新しい表現的なリズム的行動を生成するようにチューニング可能であり、従来のクロックトラックをはるかに超える創造的潜在能力を有する。