[論文レビュー] Representations of Sound in Deep Learning of Audio Features from Music

Sergey A. Shuvaev, Hamza Giaffar+1 more|Cold Spring Harbor Laboratory Institutional Repository (Cold Spring Harbor Laboratory)|Dec 8, 2017

Music and Audio Processing参考文献 7被引用数 5

ひとこと要約

この論文は、畳み込みニューラルネットワーク（CNN）を用いて、音楽の音声特徴のディープラーニング表現を調査し、5秒間の短い音声クリップから作曲家を特定することを目的としている。ランダム行列変換（RMT）および対数スケールで間隔をあけたフィルターバンクが分類精度を顕著に向上させることを発見した。RMTは31人の作曲家の中から1人を識別する際、84％の精度を達成し、標準的なスペクトログ램ベースの特徴を上回った。

ABSTRACT

The work of a single musician, group or composer can vary widely in terms of musical style. Indeed, different stylistic elements, from performance medium and rhythm to harmony and texture, are typically exploited and developed across an artist's lifetime. Yet, there is often a discernable character to the work of, for instance, individual composers at the perceptual level - an experienced listener can often pick up on subtle clues in the music to identify the composer or performer. Here we suggest that a convolutional network may learn these subtle clues or features given an appropriate representation of the music. In this paper, we apply a deep convolutional neural network to a large audio dataset and empirically evaluate its performance on audio classification tasks. Our trained network demonstrates accurate performance on such classification tasks when presented with 5 s examples of music obtained by simple transformations of the raw audio waveform. A particularly interesting example is the spectral representation of music obtained by application of a logarithmically spaced filter bank, mirroring the early stages of auditory signal transduction in mammals. The most successful representation of music to facilitate discrimination was obtained via a random matrix transform (RMT). Networks based on logarithmic filter banks and RMT were able to correctly guess the one composer out of 31 possibilities in 68 and 84 percent of cases respectively.

研究の動機と目的

• 異なる音声表現がディープラーニングの音楽分類タスクにおけるパフォーマンスに与える影響を調査すること。
• 畳み込みニューラルネットワークが音楽の微細なスタイル的特徴を検出できるような音声特徴表現を特定すること。
• 生波形、スペクトログラム、およびRMTや対数スケールフィルターバンクといった高度な変換手法が、作曲家特定においてどの程度有効であるかを評価すること。
• ディープネットワークが最小限の音声入力から、知覚的に関連する特徴を学習できるかどうかを検証すること。
• 聴覚にインspiredされた表現が、モデルの汎化能力および識別性能を向上させる役割を果たすかどうかを評価すること。

提案手法

• 大規模な音楽音声クリップデータセット上で、ディープ畳み込みニューラルネットワーク（CNN）を訓練した。
• 音声を、生波形、スペクトログラム、対数スケールで間隔をあけたフィルターバンク、およびランダム行列変換（RMT）のさまざまな表現に変換した。
• RMTは、メルスケールフィルターバンク出力にランダム行列を適用することで、特徴の多様性とロバストネスを向上させる。
• ネットワークは、5秒間の音声スニペットを用いて31人の作曲家の中から分類するように訓練された。
• 異なる入力表現におけるパフォーマンスは、保持されたテストセットにおけるトップ1精度を用いて評価された。
• 聴覚にインspiredされた対数スケールフィルターバンクは、初期哺乳類の聴覚処理を模倣し、知覚的関連性を高めた。

実験結果

リサーチクエスチョン

• RQ1 どの音声表現がディープラーニングを用いた作曲家特定において最も高い精度を達成できるか？
• RQ2 畳み込みニューラルネットワークは、5秒間の短い音声クリップから微細なスタイル的特徴を学習できるか？
• RQ3 RMTおよび対数スケールフィルターバンクは、標準的なスペクトログラムと比較して、判別的音声特徴をどの程度うまく捉えられるか？
• RQ4 聴覚にインspiredされた表現は、音楽分類タスクにおけるモデルパフォーマンスをどの程度向上させるか？
• RQ5 ランダム行列変換は、音声分離や識別タスクにおける特徴表現を向上させることができるか？

主な発見

• ランダム行列変換（RMT）表現は、31人の作曲家の中から1人を識別する際、84％の精度を達成し、他の表現を顕著に上回った。
• 対数スケールで間隔をあけたフィルターバンク表現は68％の精度を達成し、シンプルな設計にもかかわらず優れた性能を示した。
• RMTおよび対数スケールフィルターバンクは、いずれも標準的なスペクトログラムベースの特徴を上回った。
• ディープCNNは、わずか5秒間の音声入力でも、知覚的に関連する特徴を効果的に学習できた。
• 結果から、聴覚にインspiredされたおよびランダム化された特徴変換が、ディープ音声表現学習における判別力の向上に寄与することが示唆された。
• 本研究は、RMTが音楽分類における音声表現学習を改善するための非常に効果的で、データ効率の良い手法であることを確認した。