[論文レビュー] Early MFCC And HPCP Fusion for Robust Cover Song Identification

Christopher J. Tralie|arXiv (Cornell University)|Jul 15, 2017

Music and Audio Processing参考文献 19被引用数 26

ひとこと要約

本稿では、Mel周波数ケプストラム係数（MFCC）、周波数ピッチクラスプロファイル（HPCP）、およびMFCCの自己相関行列（SSM）を類似ネットワーク統合（SNF）を用いて早期統合する手法を提案し、耐障害性の高いカバー曲同定を実現する。ビート同期で正規化された特徴ブロックをアラインメントの前に行う統合により、Covers80では平均逆順位（MRR）0.87、新規の1000曲のベンチマークデータセットCovers1000ではMRR 0.904という最先端の性能を達成した。

ABSTRACT

While most schemes for automatic cover song identification have focused on note-based features such as HPCP and chord profiles, a few recent papers surprisingly showed that local self-similarities of MFCC-based features also have classification power for this task. Since MFCC and HPCP capture complementary information, we design an unsupervised algorithm that combines normalized, beat-synchronous blocks of these features using cross-similarity fusion before attempting to locally align a pair of songs. As an added bonus, our scheme naturally incorporates structural information in each song to fill in alignment gaps where both feature sets fail. We show a striking jump in performance over MFCC and HPCP alone, achieving a state of the art mean reciprocal rank of 0.87 on the Covers80 dataset. We also introduce a new medium-sized hand designed benchmark dataset called "Covers 1000," which consists of 395 cliques of cover songs for a total of 1000 songs, and we show that our algorithm achieves an MRR of 0.9 on this dataset for the first correctly identified song in a clique. We provide the precomputed HPCP and MFCC features, as well as beat intervals, for all songs in the Covers 1000 dataset for use in further research.

研究の動機と目的

• ピッチに基づく特徴（例：HPCP）が機能しない、特に非調性または打楽器中心の音楽において、カバー曲同定の課題に対処すること。
• MFCCやHPCPに依存するのみの限界を克服し、音色的・調性的特徴を補完的に捉えることの優位性を活用すること。
• アラインメントの前に行うMFCC、HPCP、SSMの統合戦略を新規に開発し、耐障害性を向上させ、アラインメントのギャップを埋めること。
• 395のクライークにまたがる1000曲を収録した、多様性に富んだ新規ベンチマークデータセットCovers1000を構築・公開し、将来的なカバー曲同定研究を支援すること。
• SNFを用いた早期統合が、標準的および困難なデータセットにおいて、個々の特徴や後期統合手法を顕著に上回ることを示すこと。

提案手法

• 動的計画法によるビートトラッカー（複数のテンポバイアス：60、120、180bpm）を用い、各楽曲からビート同期で正規化されたMFCC、HPCP、SSMのブロックを抽出する。
• HPCP特徴に遅延埋め込みを適用（1ビートあたり2つのウィンドウ）し、各ブロック内の時間的文脈を強化する。
• 類似ネットワーク統合（SNF）を用いて、楽曲間の類似性と各楽曲内の自己類似性を統合し、統一された類似性ネットワークを構築する。
• 融合された類似性ネットワークに対して、スミス＝ウォーターマン法を用いてローカルアラインメントを実行し、カバー関係を同定する。
• 複数の楽曲ネットワークにおける類似度スコアを集約することで、後期統合を実施し、さらなる性能向上を図る。
• Covers1000データセットに含まれる全1000曲について、MFCC、HPCP、およびビート間隔特徴を事前に計算し、公開する。

実験結果

リサーチクエスチョン

• RQ1 MFCC、HPCP、SSMの早期統合は、個々の特徴や後期統合を上回るカバー曲同定性能を実現できるか？
• RQ2 本稿で提案する早期SNF統合手法は、調性を含まない（例：ドラムソロなど）困難なカバー集合において、どのように性能を発揮するか？
• RQ3 自己類似性行列から得られる構造的情報を統合することで、信号が弱い領域におけるアラインメントの耐障害性はどの程度向上するか？
• RQ4 新規に構築・公開された多様性に富んだ手作業によるベンチマークデータセット（Covers1000）は、カバー曲同定システムのより厳密かつ一般化可能な評価を可能にするか？
• RQ5 補完的な特徴を統合することで、音楽的スタイルや構造的複雑さが異なるデータセットにおいて一貫した性能向上が得られるか？

主な発見

• 提案された早期統合手法は、Covers80データセットで平均逆順位（MRR）0.87を達成し、MFCC（MRR 0.618）やHPCP（MRR 0.757）単独の結果を顕著に上回った。
• 新規のCovers1000データセットでは、後期統合を適用した結果、MRR 0.904を達成した。これは、早期統合のみ（MRR 0.829）やすべての個別特徴を大きく上回る大幅な改善を示している。
• 完全に打楽器中心のドラムソロであるフランク・ザッパの『The Black Page』の8曲クライークにおいて、早期SNF統合は平均平均精度（MAP）0.98を達成した。これはHPCP（MAP 0.014）を著しく上回り、MFCC単体（MAP 0.97）に対しても優れた性能を示した。
• MFCCとSSMの統合のみでも、Covers1000でMRR 0.829を達成した。これは、SSMが標準的なMFCCとは異なる補完的情報を提供していることを示している。
• 早期統合による性能向上は、特に調性が欠如する困難なケース（例：非調性音楽）で顕著であり、HPCPが機能しない中で、MFCCとSSMが構造的・音色的パターンを捉えることができた。
• Covers1000に含まれる全1000曲について、事前に計算されたMFCC、HPCP、およびビート間隔特徴の公開により、再現可能性が確保され、今後の音楽類似性および構造解析研究を支援できる。