[論文レビュー] Riddim: A Rhythm Analysis and Decomposition Tool Based On Independent Subspace Analysis

Iroro Orife|arXiv (Cornell University)|May 13, 2017

Music and Audio Processing参考文献 20被引用数 4

ひとこと要約

Riddim は、独立部分空間分析（ISA）を用いて音声から階層的なリズム構造を抽出する計算ツールであり、リズム解析および分解を実行する。オンセットを検出すると共に、オンセット間隔（IOI）を計算し、最大公約数（GCD）およびヒストグラム分析を用いて最低レベルのビートを同定する。リズムを多次元の時間的構造としてモデル化することで、知覚に基づいた譜面作成およびリアルタイム・パフォーマンス応用を可能にする。

ABSTRACT

The goal of this thesis was to implement a tool that, given a digital audio input, can extract and represent rhythm and musical time. The purpose of the tool is to help develop better models of rhythm for real-time computer based performance and composition. This analysis tool, Riddim, uses Independent Subspace Analysis (ISA) and a robust onset detection scheme to separate and detect salient rhythmic and timing information from different sonic sources within the input. This information is then represented in a format that can be used by a variety of algorithms that interpret timing information to infer rhythmic and musical structure. A secondary objective of this work is a "proof of concept" as a non-real-time rhythm analysis system based on ISA. This is a necessary step since ultimately it is desirable to incorporate this functionality in a real-time plug-in for live performance and improvisation.

研究の動機と目的

• 電子音楽や即興的ジャンルにおいて、従来の楽譜が存在しない状況でも、知覚に基づいた計算的手法を用いて複雑なリズム構造を分析することを目的とする。
• 事前の記号的知識や楽譜が与えられていない状況でも、リズムの階層的組織（ビート、グループ化、テンポ）を音声から抽出する課題に取り組むこと。
• オンセットタイミング、アクセント、テンポといった特徴をパrameter化することで、作曲的および分析的用途に適したリズム空間の体系的探索を可能とすること。
• ライブ音声ストリームの動的分析と再解釈を可能にすることで、ライブ即興やメタDJングのリアルタイム・パフォーマンス応用を支援すること。
• 知覚的原則、たとえば「感覚的時間」（specious present）や因果的分析を計算フレームワークに統合し、リズム知覚のモデル化を支援すること。

提案手法

• リアルタイム処理を実現するため、MATLAB に MEX インターフェースを組み合わせ、C のサブルーチンと高レベルのアルゴリズム制御を併用する。
• 独立部分空間分析（ISA）を用いて、リズムパターンを統計的に独立した時間的部分空間に分解し、知覚的グループ化と階層構造をモデル化する。
• 整流化、平滑化、アラームエンベロープのピーク検出を用いてオンセットを検出することで、タイミングイベントを抽出する。
• オンセット間隔（IOI）を計算し、フレーム内 IOI のヒストグラム分析を用いて支配的ビート周期を同定する。
• 検出されたオンセットの IOI の最大公約数（GCD）を用いて、最低レベルのビートを決定する。
• 時間的文脈を考慮することで非因果的分析をサポートし、聴覚的記憶と「感覚的時間」の知覚モデルに整合する。

実験結果

リサーチクエスチョン

• RQ1 事前の記号的知識なしに、音声から階層的リズム構造（ビート、グループ化、テンポ）を抽出する計算ツールは、どのように構築できるか？
• RQ2 独立部分空間分析（ISA）は、音楽における知覚的に関連するリズムグループ化と時間的階層をどの程度正確にモデル化できるか？
• RQ3 オンセット間隔の最大公約数（GCD）は、複雑なポリリズム的または表現的音楽的パートで、基本ビートを信頼性高く同定できるか？
• RQ4 ライブ即興やメタDJングなどのリアルタイム・パフォーマンス応用に、リズム解析をどのように適合させられるか？
• RQ5 「感覚的時間」と聴覚ストアは、音声におけるリズム構造の知覚をモデル化するうえで、どのような役割を果たすか？

主な発見

• Riddim は、IOI の GCD とヒストグラムベースの IOI 分析を用いて、ポリリズム的で表現的な音声においても、最低レベルのビートを効果的に同定できた。
• リズム構造を独立した時間的部分空間の階層としてモデル化することで、知覚的リズム分解を実現し、リズム知覚の認知的モデルと整合した。
• 非因果的分析をサポートすることで、ビートとグループ化推定の精度を向上させるための時間的文脈へのアクセスが可能になった。
• アーキテクチャは拡張可能であり、MAX/MSP エクステンションまたは VST プラグインとしてリアルタイム展開が可能で、ライブパフォーマンス応用を支援する。
• Riddim は、抽象的なリズムパターンのミキシングを可能にすることで、従来の音声サンプルのミキシングとは異なり、時間伸縮によるアーティファクトを回避する新しい形のメタDJングを実現した。
• オンセット検出を統合することで、将来的な基本周波数追跡と組み合わせることで、自動楽譜作成の基盤を提供する。