[論文レビュー] Music Artist Classification with WaveNet Classifier for Raw Waveform Audio Data

Xulong Zhang, Yongwei Gao+2 more|arXiv (Cornell University)|Apr 9, 2020

Music and Audio Processing参考文献 25被引用数 4

ひとこと要約

本論文では、スペクトル変換を回避して、生波形を直接処理するエンドツーエンドのWaveNetベース分類器を提案する。拡張畳み込みとダウンサンプリングを活用した深層時系列モデリングにより、Artist20ベンチマークで平均F1スコア0.854を達成し、従来の周波数ドメイン手法を著しく上回った。

ABSTRACT

Models for music artist classification usually were operated in the frequency domain, in which the input audio samples are processed by the spectral transformation. The WaveNet architecture, originally designed for speech and music generation. In this paper, we propose an end-to-end architecture in the time domain for this task. A WaveNet classifier was introduced which directly models the features from a raw audio waveform. The WaveNet takes the waveform as the input and several downsampling layers are subsequent to discriminate which artist the input belongs to. In addition, the proposed method is applied to singer identification. The model achieving the best performance obtains an average F1 score of 0.854 on benchmark dataset of Artist20, which is a significant improvement over the related works. In order to show the effectiveness of feature learning of the proposed method, the bottleneck layer of the model is visualized.

研究の動機と目的

• スペクトル特徴ではなく生波形を直接処理するエンドツーエンドのディープラーニングモデルを、音楽アーティスト分類のために開発すること。
• 音声の時間領域における時系列モデリングが、アーティストを区別する上でどの程度有効であるかを評価すること。
• 生波形入力を用いることで、従来の周波数ドメインアプローチを上回る分類性能を向上させること。
• モデルのボトルネック層の可視化を通じて、学習された表現を分析すること。

提案手法

• WaveNet分類器は、生波形における長距離依存性をモデル化するために、拡張因果畳み込みを用いる。
• アーキテクチャには、時間的解像度を段階的に低下させ、階層的特徴を抽出するための複数のダウンサンプリング層を含む。
• 入力音声は、スペクトル変換（例：Melスペクトログラムの生成など）を経ずに、生波形そのものとして入力される。
• 最終的な分類ヘッドは、最終的な特徴表現に基づいてアーティストラベルを予測する。
• モデルの学習された表現を解釈するために、ボトルネック層の可視化が行われる。

実験結果

リサーチクエスチョン

• RQ1 生波形に直接訓練されたWaveNetベースモデルは、優れた音楽アーティスト分類性能を達成できるか？
• RQ2 アーティスト分類において、時間領域のモデリングは周波数ドメイン表現に比べてどの程度効果的か？
• RQ3 モデルは生波形からどのような判別可能な特徴を学習するか？
• RQ4 生波形に対するエンドツーエンド学習は、従来のスペクトル特徴ベースの手法よりも優れた一般化能力をもたらすか？

主な発見

• 提案されたWaveNet分類器は、Artist20ベンチマークで平均F1スコア0.854を達成し、以前の最先端手法を上回った。
• モデルはボーカルベースの分類タスクにおける歌手特定においても優れた性能を示し、一般化能力の高さを裏付けた。
• ボトルネック層の可視化により、アーティスト固有の音声的特徴に対応する意味のある判別可能なパターンが明らかになった。
• 生波形に対するエンドツーエンド学習により、手作業で設計されたスペクトル特徴の必要性が排除され、パイプラインが簡素化されるとともに性能が向上した。