[論文レビュー] Genre-Agnostic Key Classification With Convolutional Neural Networks

Filip Korzeniowski, Gerhard Widmer|arXiv (Cornell University)|Aug 16, 2018

Music and Audio Processing参考文献 13被引用数 9

ひとこと要約

この論文では、短い音声スニペットで訓練する代替として、変更された畳み込みニューラルネットワーク（KeyNet/S）を用いたジャンルに依存しないキーモデルを提案している。このアプローチにより、より高速で一般化性の高い学習が可能となる。モデルは、階層的な和音的整合性を活用することで、ジャンル別にチューニングを行わずとも、多様なデータセットにおいてジャンル固有の最先端システムを上回る性能を発揮し、優れた一般化性能を達成している。

ABSTRACT

We propose modifications to the model structure and training procedure to a recently introduced Convolutional Neural Network for musical key classification. These modifications enable the network to learn a genre-independent model that performs better than models trained for specific music styles, which has not been the case in existing work. We analyse this generalisation capability on three datasets comprising distinct genres. We then evaluate the model on a number of unseen data sets, and show its superior performance compared to the state of the art. Finally, we investigate the model's performance on short excerpts of audio. From these experiments, we conclude that models need to consider the harmonic coherence of the whole piece when classifying the local key of short segments of audio.

研究の動機と目的

• ジャンル別にチューニングを行わずとも、音楽ジャンルをまたいで一般化できるキーモデルの開発。
• キーテンプレートにおけるモードおよびジャンルバイアスが原因で、未学習のジャンルでは性能が著しく低下する既存モデルの限界を是正すること。
• 全ピeceの訓練に代えてランダムな短いスニペットを用いることで、訓練効率の向上と一般化性能の向上を図ること。
• 全ピeceにわたる和音的整合性をモデル化することで、短い音声断片におけるキーディテクション性能が向上するかどうかを調査すること。

提案手法

• 過学習とパラメータ数の削減を目的に、KeyNetアーキテクチャの全結合層を完全畳み込み構造に置き換え。
• 全ピeceではなく、ランダムに選択された20秒間のスペクトログラムスニペットでモデルを訓練することで、学習の高速化と一般化性能の向上を図る。
• 予測誤差を最小化するために、カテゴリカル交差エントロピー損失関数を用いた確率的勾配降下法を採用。
• 各エポックでスペクトログラムをランダムにクロップするデータオーグメンテーションを適用し、学習データの多様性を高め、過学習を低減。
• 推論時には全ピeceを処理することで、訓練時に使用したスニペットのみを用いるにもかかわらず、正確性を維持。
• 電子音楽、ポップ/ロック、クラシカル音楽を含む複合データセットの検証スコアを用いて、ハイパーパramータ（例：24個の特徴マップ、0.1のドロップアウト）を最適化。

実験結果

リサーチクエスチョン

• RQ1 多様な音楽ジャンルで訓練されたディープラーニングモデルは、微調整なしに未学習のジャンルに対しても効果的に一般化できるか？
• RQ2 全ピeceの訓練に代えて短い音声スニペットで訓練することで、一般化性能が向上し、過学習が低減するか？
• RQ3 特定のジャンルにチューニングされた最先端システムと比較して、短い音声断片におけるモデルの性能はどの程度向上するか？
• RQ4 全ピeceにわたる和音的整合性が、短いセグメントにおける正確なキーモデリングにどの程度寄与するか？
• RQ5 短い断片において性能の差が生じる理由、特に断片長が変動するデータセットではなぜそうなるのか？

主な発見

• 提案モデルは、Billboard、GiantSteps、Isophonics、KeyFinderを含むすべてのテストデータセットで、ジャンル固有の最先端システムを上回り、優れたF1重み付きスコアを達成した。
• Billboardデータセットでは、重み付きF1スコアが75.2を記録し、最高性能を示した競合システム（CK1）の72.8を上回った。
• モデルはジャンルをまたいで効果的に一般化している：再トレーニングやモードバランスの調整なしに、電子音楽、ポップ/ロック、クラシカル音楽のすべてで一貫した高い性能を発揮した。
• 短い断片（例：51秒未塔）は、誤分類の可能性が著しく高くなることが示された。これは、キーディテクションに十分な和音的文脈が必要であることを示唆している。
• ロッく音楽におけるモデルの性能は、断片長に強く依存しており、正しく分類された断片の中央値長は131秒である一方、誤分類されたものは51秒であった。
• 結果から、将来的なモデルは、短いセグメントにおけるキーモジュレーションの効果的検出のため、全ピeceにわたる階層的和音的整合性を考慮する必要があると示唆された。