[論文レビュー] Cover Song Identification With Timbral Shape Sequences.

Christopher J. Tralie, Paul Bendich|arXiv (Cornell University)|Jul 18, 2015

Music and Audio Processing参考文献 25被引用数 7

ひとこと要約

本論文は、MFCC係数から導出されたテクスチャ的形状系列を用いた、新たなカバー曲識別手法を提案する。音声ウィンドウを時系列順の点群とみなして、正規化自己相関行列を用いてその相対的な幾何的形状を比較する。Covers 80データセットにおいて42/80の正しく特定された識別を達成し、トーンやテクスチャの変化にもかかわらず、テクスチャの時間的変化がカバー曲識別に有効であることを示している。特に「Blurred Lines」の論争のような状況では、従来のクロマベース手法を上回る性能を示している。

ABSTRACT

We introduce a novel low level feature for identifying cover songs which quantifies the relative changes in the smoothed frequency spectrum of a song. Our key insight is that a sliding window representation of a chunk of audio can be viewed as a time-ordered point cloud in high dimensions. For corresponding chunks of audio between different versions of the same song, these point clouds are approximately rotated, translated, and scaled copies of each other. If we treat MFCC embeddings as point clouds and cast the problem as a relative shape sequence, we are able to correctly identify 42/80 cover songs in the "Covers 80" dataset. By contrast, all other work to date on cover songs exclusively relies on matching note sequences from Chroma derived features.

研究の動機と目的

• トーン、テンポ、トーンが著しく異なるバージョン間でのカバー曲識別という課題に対処すること。
• 従来のクロマに優先されて捨てられがちなテクスチャ特徴量が、バージョンマッチングに有効に利用可能かどうかを検討すること。
• カバー曲バージョン間で音声特徴点群の回転、平行移動、スケーリングに対して不変となる手法を開発すること。
• 絶対的トーンやテクスチャが変化しても、MFCCの相対的形状の変化が、依然として識別に有用な情報を保持していることを示すこと。
• 低レベル音声特徴における幾何的構造を活用することで、クロマベース手法の代替案を提供すること。

提案手法

• 音声が時間ウィンドウに分割され、各ウィンドウがMFCC係数を用いて高次元空間内の点として表現される。
• 各ウィンドウのMFCCベクトルが点として扱われ、音声のスペクトル的変化を表す時系列順点群が形成される。
• 各点群に対して正規化されたユークリッド自己相関行列（SSM）が計算され、相対的形状関係が捉えられる。
• 候補曲間のクロス相関行列は、対応するブロックのSSMを比較することで計算され、回転、平行移動、スケーリングに不変なマッチングが可能になる。
• バイナリクロス相関行列から類似度スコアが導出され、対角成分の密度が高いほど形状の一致度が高くなる。
• ブロックサイズ（B）、リサイズ次元（d）、類似度しきい値（κ）などのパラメータを用いた最近傍探索による性能評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 トーンの変更、テンポの変化、楽器編成の違いがあっても、音声セグメント間の相対的テクスチャ的形状の変化を用いてカバー曲を識別できるか？
• RQ2 MFCC特徴量の形状ベース分析は、従来のクロマベース手法よりもカバー曲識別においてより頑健か？
• RQ3 MFCC点群の幾何的不変性（回転、平行移動、スケーリング）を活用することで、カバー曲マッチングの正確性はどの程度向上するか？
• RQ4 『Blurred Lines』の論争のような現実世界の事例において、トーンのシーケンスが異なるがテクスチャ的構造が類似している場合、本手法はどの程度の性能を示すか？
• RQ5 テクスチャ的形状特徴量は、既存のクロマベース手法を上回るか、あるいは補完的に機能するか？

主な発見

• 本手法はCovers 80ベンチマークデータセットにおいて80曲中42曲を正しく識別し、κ=0.15、B=14、d=200の条件下でピーク性能42/80を達成した。
• 『Blurred Lines』と『Got To Give It Up』のケースでは、テクスチャ的形状ベースのスコアが、全比較の99.9パーセンタイル圏内で『Got To Give It Up』をトップマッチとして特定した。
• テクスチャ的形状手法のバイナリクロス相関行列には対角成分が密集しており、形状の一致度が強いことが示された。これに対してクロマベースの行列は疎なパターンを示した。
• トーンのシーケンスが著しく異なる状況、例えば『Blurred Lines』の論争のようなケースでは、従来のクロマベース手法を上回る性能を示した。
• 曲率、Gromov-Hausdorff距離、Earth Mover’s距離といった代替形状記述子も検証されたが、性能は劣り、計算コストも高くなった。
• 一般化されたパッチマッチアルゴリズムにより、ペairワイズブロック比較を全比較の約15％に削減でき、大規模リトリーブへのスケーラブルな展開の可能性を示唆した。