[論文レビュー] Audio Cover Song Identification using Convolutional Neural Network

Sungkyun Chang, Juheon Lee+2 more|arXiv (Cornell University)|Dec 1, 2017

Music and Audio Processing参考文献 15被引用数 15

ひとこと要約

本論文では、曲ペアのクロス類似度行列を画像として扱い、カバー関係を示す意味のあるパターンを検出することで、CNNベースの音声カバー曲識別手法を提案する。この手法は最先端の性能を達成し、従来のルールベースおよびメトリック学習手法を上回り、MNIT10が8.04、MR1が2.50を記録した。

ABSTRACT

In this paper, we propose a new approach to cover song identification using a CNN (convolutional neural network). Most previous studies extract the feature vectors that characterize the cover song relation from a pair of songs and used it to compute the (dis)similarity between the two songs. Based on the observation that there is a meaningful pattern between cover songs and that this can be learned, we have reformulated the cover song identification problem in a machine learning framework. To do this, we first build the CNN using as an input a cross-similarity matrix generated from a pair of songs. We then construct the data set composed of cover song pairs and non-cover song pairs, which are used as positive and negative training samples, respectively. The trained CNN outputs the probability of being in the cover song relation given a cross-similarity matrix generated from any two pieces of music and identifies the cover song by ranking on the probability. Experimental results show that the proposed algorithm achieves performance better than or comparable to the state-of-the-art.

研究の動機と目的

• 曲ペア間のクロス類似度行列における構造的パターンをモデル化することで、音声カバー曲識別の性能を向上させること。
• 従来の特徴ベースおよび距離メトリック手法の限界を克服し、エンドツーエンドのパターン認識を実現する深層学習を活用すること。
• クロス類似度行列にCNNを適用することで、カバー曲識別を画像分類タスクに再定式化すること。
• 従来のルールベースおよびメトリック学習アプローチよりも高い精度と優れたランク付け性能を達成すること。
• 変動する曲の長さにかかわらず、曲の最初の180秒のみを用いても有効なカバー検出が可能かどうかを検討すること。

提案手法

• 2曲の12次元クロマ特徴量を用い、キーアライメント付きのユークリッド距離でクロス類似度行列Sを構築し、max(Δ)で正規化する。
• 各曲の最初の180秒のみを用い、短いトラックはゼロパディングで長さを統一する。
• バランスの取れたカバー・ノンカバー曲ペアの行列を対象に、バッチ正規化と2つのドロップアウト層（p=0.5, q=0.5）を備えた12層のCNNを訓練する。
• 収束を促進するために、訓練の前に特徴量をゼロ平均単位標準偏差にスケーリングする。
• CNNのソフトマックス出力を用い、予測されたカバー可能性に基づいて候補曲をランク付けし、上位N件のカバーを特定する。
• ネストドグリッドサーチを用いてハイパーパrameterを最適化し、交差エントロピー損失が10^-4未満に収束した段階で早期停止を適用する。

実験結果

リサーチクエスチョン

• RQ1 CNNは、クロス類似度行列内の判別的パターンを効果的に学習し、カバー曲関係を同定できるか？
• RQ2 曲の最初の180秒のみを用いることで、フル長の分析と比較して十分な情報が得られるか？
• RQ3 提案手法のCNNベースのアプローチは、ルールベース（例：SimPLe）およびメトリック学習ベースの手法と比較して、性能に優れているか？
• RQ4 手動で設計された特徴量や複雑な埋め込み技術に依存せずに、未学習のカバー版に対してもモデルが良好に一般化できるか？
• RQ5 ドロップアウトやバッチ正規化といったアーキテクチャ選択が、モデルの一般化性能および性能に与える影響は何か？

主な発見

• 提案されたCNNはMNIT10が8.04を達成し、平均して上位10件の候補のうち8.04件が正しいカバー曲であったことを示した。
• モデルはMAPが0.84を達成し、ベースラインのSimPLe手法（0.66）およびメトリック学習を強化したバージョン（0.81）を著しく上回った。
• MR1は2.50であり、平均して最初の正しいカバーが上位2.5番目にランク付けされたことを意味する—第二位の手法（SimPLe、MR1=5.6）と比較して80.1%優れていた。
• 最適なハイパーパrameter（p=0.5, q=0.5）を用いた場合、バリデーション精度が83.4%に達し、バリデーションセットにおける強い一般化性能を示した。
• 曲の最初の180秒のみを用いても、フル長音声入力を使用するシステムを上回る性能を達成した。
• 第二位の手法（Heo et al., 2017）との性能差は、特にランク付け品質（MR1）で顕著であり、上位k件の検索における信頼性の向上を示唆している。