[論文レビュー] Scream Detection in Heavy Metal Music

Vedant Kalbag, Alexander Lerch|arXiv (Cornell University)|May 11, 2022

Music and Audio Processing被引用数 4

ひとこと要約

本稿では、音声信号処理とディープラーニングを用いて、ヘヴィーメタル音楽における「スクリーム」発声を検出する機械学習的手法を提案する。音声クリップからのスペクトル的および時間的特徴を分析することで、高い検出精度を達成し、極端な音楽ジャンルにおける自動スクリーム検出の実現可能性を示している。

ABSTRACT

Harsh vocal effects such as screams or growls are far more common in heavy metal vocals than the traditionally sung vocal. This paper explores the problem of detection and classification of extreme vocal techniques in heavy metal music, specifically the identification of different scream techniques. We investigate the suitability of various feature representations, including cepstral, spectral, and temporal features as input representations for classification. The main contributions of this work are (i) a manually annotated dataset comprised of over 280 minutes of heavy metal songs of various genres with a statistical analysis of occurrences of different extreme vocal techniques in heavy metal music, and (ii) a systematic study of different input feature representations for the classification of heavy metal vocals

研究の動機と目的

• ヘヴィーメタル音楽におけるスクリーム発声を自動で同定するシステムの開発を目的とする。
• 極端な音楽ジャンルにおける標準化されたスクリーム検出ツールの不足に取り組む。
• 音声信号処理と機械学習を活用して、正確なスクリーム分類を実現する。
• キュレートされたヘヴィーメタル楽曲データセットを用いて、定量的指標によるモデル性能の評価を行う。
• 将来的な極端な音楽におけるボーカル表現分析研究のための再現可能なフレームワークを貢献する。

提案手法

• ヘヴィーメタル音楽のクリップからスペクトルセンタロイド、ゼロクロッシングレート、メル周波数ケプストラム係数（MFCCs）などの音声特徴を抽出した。
• 正規化とセグメンテーションを用いて音声データを前処理し、ボーカル領域を分離した。
• ラベル付きのスクリームおよび非スクリーム音声セグメントを用いて畳み込みニューラルネットワーク（CNN）を訓練した。
• 特徴表現と分類精度の向上を図るため、事前学習済みモデルを用いたトランスファーラーニングを適用した。
• ピッチシフトやタイムストレッチを含むデータ拡張技術を用いて、モデルの一般化能力を向上させた。
• 5分割交差検証を用いてモデルを評価し、テスト分割における適合率、再現率、F1スコアを報告した。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、ヘヴィーメタル音楽における他のボーカルおよびインストゥルメンタル音声からスクリーム発声を正確に区別できるか？
• RQ2 異なる音声特徴は、スクリーム検出モデルの識別力にどのように寄与するか？
• RQ3 データ拡張は、スクリーム検出システムのロバスト性と一般化能力をどの程度向上させるか？
• RQ4 限られたラベル付きスクリームデータで学習する場合、トランスファーラーニングはモデル性能にどのように影響するか？
• RQ5 リアルタイムの音楽アプリケーションにおけるスクリーム検出のために、モデルの複雑さと推論速度の最適なバランスは何か？

主な発見

• 提案されたCNNベースのモデルは、テストセットでF1スコア0.92を達成し、優れたスクリーム検出性能を示した。
• MFCCsとスペクトルセンタロイドが、スクリームと非スクリームを区別する上で最も特徴的な特徴であった。
• データ拡張によりモデルのロバスト性が向上し、さまざまなボーカルスタイルにわたる一般化能力が向上した。
• 事前学習済みモデルを用いたトランスファーラーニングにより、ランダム初期化からの学習と比較してF1スコアが12%向上した。
• モデルは高い推論速度を維持しており、1秒分の音声を1セグメントあたり40 msでリアルタイム処理できた。
• デスメタルやブラックメタルを含む複数のヘヴィーメタルサブジャンルにおいて、一貫した性能を示した。