[論文レビュー] AudRandAug: Random Image Augmentations for Audio Classification

Teerath Kumar, Muhammad Turab+3 more|arXiv (Cornell University)|Sep 9, 2023

Music and Audio Processing被引用数 4

ひとこと要約

本稿では、音声固有の変換の体系的検索スペースから最適な変換を選択することで、RandAugフレームワークを音声に適応させた新しいデータ拡張手法であるAudRandAugを提案する。この手法は、独自のCNNを用いた場合、FSDDで5.16%、UrbanSound8Kで2.97%の精度向上を達成し、事前学習済みVGGモデルを用いた場合にも、FSDDで3.00%、UrbanSound8Kで2.26%の精度向上を達成し、最先端の性能を発揮した。

ABSTRACT

Data augmentation has proven to be effective in training neural networks. Recently, a method called RandAug was proposed, randomly selecting data augmentation techniques from a predefined search space. RandAug has demonstrated significant performance improvements for image-related tasks while imposing minimal computational overhead. However, no prior research has explored the application of RandAug specifically for audio data augmentation, which converts audio into an image-like pattern. To address this gap, we introduce AudRandAug, an adaptation of RandAug for audio data. AudRandAug selects data augmentation policies from a dedicated audio search space. To evaluate the effectiveness of AudRandAug, we conducted experiments using various models and datasets. Our findings indicate that AudRandAug outperforms other existing data augmentation methods regarding accuracy performance.

研究の動機と目的

• 音声データに特化した体系的なデータ拡張手法が、RandAugのスタイルに適合するように整備されていない現状を是正すること。
• 効果的な拡張によりトレーニングデータの多様性を高め、音声分類モデルの汎化性能と耐性を向上させること。
• 専用の検索スペースに組み込むために、最も効果的な音声固有の拡張技術を特定・選択すること。
• 複数のモデルとデータセットにおいて、AudRandAugが既存のデータ拡張手法を上回ることを検証すること。
• 今後の音声表現学習分野の研究および応用に活用可能な再利用可能でオープンソースの実装を提供すること。

提案手法

• ノイズ注入、ピッチシフト、タイムストレッチ、クリッピング、リバース、バンドパスフィルタリング、ゲイン調整、タイムマスキングを含む、合計12種類の音声固有の拡張操作からなる検索スペースを定義することで、RandAugフレームワークを音声に適応させる。
• トレーニング中に検索スペースからランダムに選択された拡張ポリシーを適用し、固定された数（r=2）の操作を選択し、事前に定義された範囲からランダムにマグニチュード値をサンプリングする。
• メルスペクトログ램に変換する前に、生の音声信号を前処理することで、特徴レベルの拡張よりも信号レベルの拡張が優れた性能を発揮することを確認した。
• メルスペクトログ램を32×32にリサイズすることで、畳み込みニューラルネットワークと互換性のある画像形式の入力を維持する。
• すべての拡張処理が微分可能かつ一貫的に行われるよう、モデル学習の前処理ステップとしてAudRandAugを統合する。
• 実証的評価に基づき、パディングなど効果のない拡張手法（性能向上が見られなかった）を除外した検索スペースを構築する。

実験結果

リサーチクエスチョン

• RQ1 音声固有の拡張操作の適切な検索スペースを定義することで、RandAugのパラダイムを音声データに効果的に適応できるか？
• RQ2 多様なデータセットとモデルにおいて、どの音声拡張技術が分類精度の向上に最も寄与するか？
• RQ3 音声分類タスクにおける精度と汎化性能の観点から、AudRandAugはベースラインのデータ拡張手法を上回っているか？
• RQ4 AudRandAugは、カスタムモデルと事前学習済みモデル（例：VGG）の両方に対して、性能向上を維持しているか？
• RQ5 洗練された音声拡張スペースにおけるランダムサーチが、手作業で設計されたまたはヒューリスティックな拡張戦略を上回る性能を発揮できるか？

主な発見

• カスタムCNNを用いた場合、Free Spoken Digits Dataset (FSDD) においてベースライン比で5.16%の絶対的精度向上を達成し、他の個別の拡張手法をすべて上回った。
• UrbanSound8Kデータセットでは、カスタムCNNを用いた場合、ベースライン比で1.37%の精度向上を示し、複数のデータセットにわたる一貫性ある向上を確認した。
• 事前学習済みVGGモデルを用いた場合、FSDDで2.97%、UrbanSound8Kで2.26%の絶対的精度向上を達成し、異なるアーキテクチャ間でも有効性が確認された。
• ノイズ注入、ピッチシフト、タイムストレッチなど、個別の拡張手法よりも、すべての手法を統合したAudRandAugが優れた性能を発揮した。
• パディングのように性能向上が見られなかった手法は検索スペースから除外され、結果として効果的な拡張のみが使用された。
• メルスペクトログラム変換の前に行う信号レベルの拡張が、特徴レベルの拡張よりも優れた結果をもたらした。これは、前処理パイプライン設計の妥当性を裏付けた。