[論文レビュー] Large-Scale Cover Song Detection in Digital Music Libraries Using Metadata, Lyrics and Audio Features

Albin Andrew Correya, Romain Hennequin+1 more|arXiv (Cornell University)|Aug 30, 2018

Music and Audio Processing参考文献 20被引用数 7

ひとこと要約

本稿では、音楽メタデータ（タイトル）、歌詞（MXMデータセット経由）、音声特徴を組み合わせることで大規模なカバー曲検出を実現するマルチモーダルアプローチを提案する。標準的なtf-idfテキスト類似度と最先端の音声手法を用いる。ミリオン・ソング・データセット（MSD）において、音声のみの最先端手法と比較して平均平均精度（MAP）が35.5%絶対上昇した。これは、テキストベースの特徴量がデジタル音楽ライブラリにおける精度とスケーラビリティを顕著に向上させることを示している。

ABSTRACT

Cover song detection is a very relevant task in Music Information Retrieval (MIR) studies and has been mainly addressed using audio-based systems. Despite its potential impact in industrial contexts, low performances and lack of scalability have prevented such systems from being adopted in practice for large applications. In this work, we investigate whether textual music information (such as metadata and lyrics) can be used along with audio for large-scale cover identification problem in a wide digital music library. We benchmark this problem using standard text and state of the art audio similarity measures. Our studies shows that these methods can significantly increase the accuracy and scalability of cover detection systems on Million Song Dataset (MSD) and Second Hand Song (SHS) datasets. By only leveraging standard tf-idf based text similarity measures on song titles and lyrics, we achieved 35.5% of absolute increase in mean average precision compared to the current scalable audio content-based state of the art methods on MSD. These experimental results suggests that new methodologies can be encouraged among researchers to leverage and identify more sophisticated NLP-based techniques to improve current cover song identification systems in digital music libraries with metadata.

研究の動機と目的

• メタデータと歌詞が音声のみの手法を上回る大規模なカバー曲検出におけるスケーラビリティと精度を向上させることを調査すること。
• 実世界の音楽データセット上で、テキストベースの類似度測定法（タイトルおよび歌詞のtf-idf）を最先端の音声ベースのシステムと比較してベンチマークすること。
• スケーラブルなマルチモーダルフレームワークにおいて、テキストと音声特徴を統合することで、デジタル音楽ライブラリにおけるカバー検出の性能がどの程度向上するかを評価すること。
• 今後の研究のための再現可能でオープンソースのベースラインを提供すること。利用可能な公開データセット（MSD, SHS, MXM）を用いてテキスト強化型カバー曲検出を対象とする。

提案手法

• テキスト特徴量として、楽曲タイトルと歌詞を標準的なtf-idfベクトル化により処理し、楽曲間の意味的類似度を算出する。
• 音声特徴量はCENS（Chroma Energy Normalized Statistics）を用いて抽出し、動的時間ワープ（DTW）を用いて類似度計算に合わせる。
• ハイブリッド再ランク戦略を適用：初期のテキストベースの結果を、最先端の音声類似度手法（Serra et al., 2017）を用いて再処理し、距離閾値（h=0.1）を低く設定する。
• フレームワークはミリオン・ソング・データセット（MSD）、Second Hand Song（SHS）のトレイン／テストセット、および歌詞用にMXMデータセットで評価された。
• 音声特徴量のロバストネスを確保するため、オプティマル・トランスポジション・インデックス（OTI）およびビート同期型クロマなどのキーポイント技術を適用した。
• システムはクエリ・リトリーブ設定を採用しており、各クエリ楽曲が大規模なリファレンスデータベースと照合され、ランク付きのカバーキャンディデートが取得される。

実験結果

リサーチクエスチョン

• RQ1 タイトルや歌詞といったテキストベースの特徴量が、大規模なカバー曲検出システムの精度を顕著に向上させることができるか？
• RQ2 大規模データセット上での平均平均精度（MAP）において、tf-idfベースのテキスト類似度は、最先端の音声ベースの手法と比較してどの程度の性能を示すか？
• RQ3 テキストと音声特徴量を統合することで、実世界のデジタル音楽ライブラリにおけるスケーラビリティとリトリーブ性能がどの程度向上するか？
• RQ4 テキストベースの結果を音声類似度モデルで再ランク付けすることで、検出精度がさらに向上するか？

主な発見

• 本手法では、楽曲タイトルとMXMの歌詞を用いた場合、現在の音声のみの最先端手法と比較して、ミリオン・ソング・データセット（MSD）で平均平均精度（MAP）が35.5%絶対上昇した。
• SHSテストセットでは、タイトルとMXMの歌詞を組み合わせた結果、MAPが0.510に達し、距離閾値h=0.1で音声手法による再ランク付けにより2.1%の向上を示した。
• 事前処理済みタイトル（pre-title）を用いた場合、元のタイトルと同等の結果が得られたことから、タイトルのわずかな変化に対してもロバストであることが示された。
• MSD-DZRセット（公式の重複を除く）ではMAPが0.489を記録し、大規模データ上で優れた性能を示した。
• テキストベースの手法のみでも、以前の音声のみのスケーラブルなシステム（SHSトレインセットでMAP 0.28を報告）を上回った。
• 結果から、テキストベースの特徴量は、特に音声データが入手困難な場合やスケーラビリティが最重要視される状況において、非常に効果的かつ解釈可能であることが示唆された。