[論文レビュー] Robust Joint Alignment Of Multiple Versions Of A Piece Of Music.

Siying Wang, Sebastian Ewert+1 more|arXiv (Cornell University)|Oct 27, 2014

Music and Audio Processing参考文献 12被引用数 15

ひとこと要約

本稿では、複数の楽曲バージョンを同時に比較することで、2重比較手法よりも精度とロバスト性を向上させる、耐障害性の高い連携手法を提案する。プログレッシブな連携フレームワーク上で、クロマおよびオノセット特徴量を用いたマルチスケールDTWを適用することで、Mazurka Projectの録音データに対して、最新の2重比較手法と比較して平均誤差を14%低減し、標準偏差を53%低減した。

ABSTRACT

Large music content libraries often comprise multiple versions of a piece of music. To establish a link between different versions, automatic music alignment methods map each position in one version to a corresponding position in another version. Due to the leeway in interpreting a piece, any two versions can differ significantly, for example, in terms of local tempo, articulation, or playing style. For a given pair of versions, these differences can be significant such that even state-of-the-art methods fail to identify a correct alignment. In this paper, we present a novel method that increases the robustness for difficult to align cases. Instead of aligning only pairs of versions as done in previous methods, our method aligns multiple versions in a joint manner. This way, the alignment can be computed by comparing each version not only with one but with several versions, which stabilizes the comparison and leads to an increase in alignment robustness. Using recordings from the Mazurka Project, the alignment error for our proposed method was 14% lower on average compared to a state-of-the-art method, with significantly less outliers (standard deviation 53% lower).

研究の動機と目的

• 表現的解釈のばらつきが著しいテンポ、アーティキュレーション、ダイナミクスの違いを有する音楽的多様性のある録音同士を連携する課題に取り組むこと。
• 表現的解釈のばらつきにより2重比較手法が失敗するような困難な状況において、連携のロバスト性を向上させること。
• 同じ楽曲の複数バージョン間の冗長性と一貫性を活用するスケーラブルな共同連携フレームワークを構築すること。
• スコアフォローやカバーソング検出、コンテンツリンクなどの音楽情報検索タスクにおける同期精度を向上させること。

提案手法

• 生物学における多次元配列アラインメント（MSA）を音楽連携に応用し、複数の音声バージョンを同時に共同比較可能にする。
• 順次的に各録音を成長するテンプレートに合わせるプログレッシブなアラインメント戦略を採用し、最初に最も長い録音から開始する。
• 計算コストを低減するため、マルチスケール-DTW（FastDTW）を効率的な動的時間ワープに用いる。
• ピッチの内容を表現するクロマ特徴量と、オノセット検出と時間的精度を向上させるDLNCO（クロマに基づくオノセットインジケータ）を統合する。
• ギャップペナルティとステップサイズ制約を適用したコスト行列を用いて、単調かつ境界妥当なアラインメントを保証する。
• 長さに基づく順序付けをアラインメント順序に用いることで安定性を向上させるが、DTWコストに基づく順序付けと比較して顕著な性能差は認められない。

実験結果

リサーチクエスチョン

• RQ1 表現的演奏のばらつきが著しい状況下でも、複数楽曲バージョンの共同連携は2重比較手法に比べてロバスト性を向上させることができるか？
• RQ2 アラインメントの順序（例：長さ順またはDTWコスト順）は、最終的なアラインメント精度と安定性にどのように影響するか？
• RQ3 オノセットインジケータ特徴量（DLNCO）は、共同連携フレームワーク内でのアラインメント精度にどの程度寄与するか？
• RQ4 初期テンプレート作成後、バージョンを繰り返し再連携することでアラインメント品質が向上するか？
• RQ5 2重比較が失敗する状況において、複数のリファレンスバージョンの使用がアラインメントを安定化させる程度はどの程度か？

主な発見

• 提案された共同連携手法は、Mazurka Projectデータセットにおいて、最新の2重比較手法と比較して平均アラインメント誤差を14%低減した。
• アラインメント誤差の標準偏差が53%低減され、外れ値が著しく減少し、より高いロバスト性が示された。
• クロマに基づくオノセットインジケータ（DLNCO）を用いることでアラインメント精度が向上し、無効化すると1例において平均アラインメント誤差が59msから80msに増加した。
• 長さに基づくアラインメント順序戦略はDTWコストに基づく戦略を上回るか同等の性能を示し、テンポと表現的パrameterのばらつきとの間に潜在的な関連性がある可能性を示唆した。
• 繰り返し再連携は結果を向上させず、一部の録音では逆にアラインメントを悪化させたため、初期アラインメント後の再処理には利点がなかった。
• 本手法は、特に表現的解釈のばらつきが著しい困難なケースにおいて、複数のMazurka録音で一貫した改善効果を示した。