[論文レビュー] Time-Frequency Audio Features for Speech-Music Classification

Mrinmoy Bhattacharjee, S. R. Mahadeva Prasanna+1 more|arXiv (Cornell University)|Nov 3, 2018

Music and Audio Processing被引用数 4

ひとこと要約

本稿では、音声フレーム内の顕著な周波数ピークから導出されたスペクトルピーク系列（SPS）を用いて、音声・音楽分類のための新規2段階時間周波数特徴抽出手法を提案する。SPSは時系列として扱われ、周期性、ゼロクロッシングレート、統計的特徴（SPS-SCG）が抽出され、4つのデータセットにおいてベースライン手法を上回る性能を示し、特にSVM分類器で顕著な向上が得られた。

ABSTRACT

Distinct striation patterns are observed in the spectrograms of speech and music. This motivated us to propose three novel time-frequency features for speech-music classification. These features are extracted in two stages. First, a preset number of prominent spectral peak locations are identified from the spectra of each frame. These important peak locations obtained from each frame are used to form Spectral peak sequences (SPS) for an audio interval. In second stage, these SPS are treated as time series data of frequency locations. The proposed features are extracted as periodicity, average frequency and statistical attributes of these spectral peak sequences. Speech-music categorization is performed by learning binary classifiers on these features. We have experimented with Gaussian mixture models, support vector machine and random forest classifiers. Our proposal is validated on four datasets and benchmarked against three baseline approaches. Experimental results establish the validity of our proposal.

研究の動機と目的

• 時間周波数的特徴を統合的に活用することで、音声分類の分離課題に取り組むこと。
• スペクトログラムにおける特徴的なストライエーションパターン（音声では滑らかな弧、音楽では水平線）を特徴抽出フレームワークによって活用すること。
• フレーム間における顕著なスペクトルピークの動的変化を捉える時間周波数特徴を開発すること。
• 提案手法を多様な音声データセット上で、既存のベースラインと比較してベンチマークすること。
• スペクトルピーク系列（SPS）から導出される統計的および周期的特徴が、分類性能の向上に寄与することを実証すること。

提案手法

• 周波数スペクトルの大きさを分析して、1フレームあたりp=20個の顕著なスペクトルピークを検出する。
• ピークの周波数位置をフレームごとに時系列として扱い、スペクトルピーク系列（SPS）を構築する。
• 各SPSから3つの新規特徴を抽出する：周期性（SPS-P）、ゼロクロッシングレート（SPS-ZCR）、標準偏差、センターポイント、勾配の複合特徴（SPS-SCG）。
• SPS-SCGを主な特徴セットとして採用する。これはピーク系列の統計的特性と時間的ダイナミクスを統合しており、優れた性能を示す。
• 抽出された特徴を用いて、70:30のトレーニング・テスト分割に基づき、2値分類器（GMM、SVM、ランダムフォレスト）を訓練および評価する。
• SVMのハイパーパrameterをグリッドサーチで最適化し、20回の繰り返し実験を実施して平均Fスコアと分散を報告する。

実験結果

リサーチクエスチョン

• RQ1 時間周波数表現から導出されるスペクトルピーク系列は、従来のスペクトル的および時間的特徴を上回る音声・音楽分類性能を実現できるか？
• RQ2 スペクトルピーク系列の周期性および統計的属性は、音声と音楽信号でどのように異なるか？
• RQ3 提案されたSPS-SCG特徴セットは、MFCC、Khonglah-FS、Sell-FSといった既存のベースラインを上回る性能を、多様な音声環境で示せるか？
• RQ4 提案手法の性能は、実世界の放送音声や映画音声を含む多様なデータセットにおいても一貫性を示すか？
• RQ5 2段階特徴抽出フレームワークは、音声・音楽識別を越えて、他の音声分類タスクへも一般化可能か？

主な発見

• SPS-SCG特徴セットは、GTZAN、Scheirer-Slaney、TV News Broadcastの3つのデータセットで、SVM分類器を用いた際に最高の性能を達成した。
• 映画データセットでは、SPS-SCGが2番目の性能を記録し、多様な音声コンテンツへの優れた一般化能力を示した。
• GTZANデータセットにおいて、SPS-SCGは最良のベースライン（Khonglah-FS）を顕著に上回り、その識別力の高さを裏付けた。
• 提案手法は、4つのすべてのデータセットでベースライン手法を一貫して上回り、時間周波数ダイナミクスを効果的に捉える能力を検証した。
• 初期または後期の特徴統合から顕著な向上が得られなかったため、SPS-SCGそのものが強固で十分な特徴表現であることが示された。
• スペクトルピーク系列を時系列として扱うことで、音声と音楽におけるピッチおよびハーモニック構造の特徴的な時間的変化が効果的に捉えられた。