[論文レビュー] Data Augmentation for Instrument Classification Robust to Audio Effects

António Ramires, Xavier Serra|arXiv (Cornell University)|Jul 19, 2019

Music and Audio Processing参考文献 27被引用数 6

ひとこと要約

本論文は、電子音楽制作で一般的に使用されるオーディオエフェクトを適用した音声に応用した最先端のディーブラーニングモデルのロバスト性を評価している。重いディストーションやコーラスなどのエフェクトを用いたデータ拡張により、未処理データにおける分類精度が向上することが示されたが、リバーヴやサチュレーションなどのエフェクトに対しては依然としてモデルの感度が高く、より多様な拡張戦略の導入によるロバスト性の向上が求められることが示された。

ABSTRACT

Reusing recorded sounds (sampling) is a key component in Electronic Music Production (EMP), which has been present since its early days and is at the core of genres like hip-hop or jungle. Commercial and non-commercial services allow users to obtain collections of sounds (sample packs) to reuse in their compositions. Automatic classification of one-shot instrumental sounds allows automatically categorising the sounds contained in these collections, allowing easier navigation and better characterisation. Automatic instrument classification has mostly targeted the classification of unprocessed isolated instrumental sounds or detecting predominant instruments in mixed music tracks. For this classification to be useful in audio databases for EMP, it has to be robust to the audio effects applied to unprocessed sounds. In this paper we evaluate how a state of the art model trained with a large dataset of one-shot instrumental sounds performs when classifying instruments processed with audio effects. In order to evaluate the robustness of the model, we use data augmentation with audio effects and evaluate how each effect influences the classification accuracy.

研究の動機と目的

• 一般的なオーディオエフェクトを処理したワンショットの楽器音声に応用した最先端の楽器分類モデルのロバスト性を評価すること。
• オーディオエフェクトを用いたデータ拡張が、未処理および処理済み音声の両方におけるモデルの汎化性能および分類精度を向上させるかどうかを調査すること。
• 分類性能を著しく低下させる主なオーディオエフェクトと、最も利益をもたらす拡張戦略を特定すること。
• 現在のモデルが、オーディオエフェクトによって生じるトーンの変化に対してどれほど汎化できるかの限界を明らかにすること。

提案手法

• 研究では、多様なトーンとピッチを持つワンショット楽器音声を収集した大規模データセットであるNSynthを用いた。
• ログメルスペクトログ램を入力として使用する畳み込みニューラルネットワーク（CNN）モデルを、最先端の楽器分類器としてのベースラインとして用いた。
• 訓練データセットに、重いディストーション、リバーブ、コーラス、フランジャ、エコー、サチュレーション、ピッチシフト、コーラスの8種類の一般的なオーディオエフェクトを、異なるパrameter設定で適用することで拡張した。
• 各拡張された訓練データセットでモデルをファインチューニングし、未処理およびエフェクト処理済みのテストデータセットで評価した。
• 分類精度を指標として、異なるエフェクトタイプにおける拡張有無のモデルを比較した。
• 訓練データセットとテストデータセットのエフェクト実装の差異に起因する性能の乖離を分析し、汎化性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 一般的なオーディオエフェクトを処理したワンショット楽器音声に応用した最先端の楽器分類器の分類精度は、どのように低下するか？
• RQ2 どのオーディオエフェクトが分類精度を著しく低下させ、どのエフェクトが最小限の影響または逆に好影響を与えるか？
• RQ3 オーディオエフェクトを用いたデータ拡張により、未処理テストデータにおけるモデルの精度が向上するか？
• RQ4 拡張データで学習させたモデルは、訓練時に見なかったエフェクトを分類する際、ロバスト性が向上するか？

主な発見

• ベースラインモデルは未処理テストデータで73.78%の精度を達成したが、重いディストーションの拡張を施した場合、74.73%まで向上した。
• 拡張による最も顕著な向上はコーラス（0.6436の精度）と重いディストーション（拡張済みテストセットで0.3518）で観察され、エフェクトベースのデータ拡張に一定の利点があることが示された。
• 処理済みテストデータでは分類精度が著しく低下し、特にリバーブ（-59.6%）、サチュレーション（-28.3%）、エコー（-29.8%）で顕著な低下が見られた。
• フランジャーやピッチシフトに対しては相対的に高いロバスト性を示し、これらのエフェクトが適用されたテストセットでは精度低下が4%未満にとどまった。
• 拡張データで学習させたモデルは、対応するエフェクト（例：重いディストーション）では性能向上を示したが、他のエフェクトへの一般化はうまくいかなかった。
• 本研究では、訓練時とテスト時のエフェクト実装の差が一般化性能を妨げている可能性があると特定し、より多様な拡張戦略の導入が不可欠であると示唆した。