[論文レビュー] Investigating Multi-Feature Selection and Ensembling for Audio Classification

Muhammad Turab, Teerath Kumar+2 more|arXiv (Cornell University)|Jun 15, 2022

Music and Audio Processing被引用数 4

ひとこと要約

本論文では、3つの音声デジットデータセット上で、異なる深層学習モデル（CNN、EfficientNet、MobileNet）を用いて、メルスペクトログ램、メル周波数ケプストラム係数（MFCC）、ゼロクロッシングレート（ZCR）の複数特徴量を統合する手法を調査している。結果として、主にメルスペクトログラムとMFCCといった高精度な個別特徴量のみを統合することで、単一特徴量や全特徴量統合よりも優れた正確性と効率性が得られることを示している。

ABSTRACT

Deep Learning (DL) algorithms have shown impressive performance in diverse domains. Among them, audio has attracted many researchers over the last couple of decades due to some interesting patterns--particularly in classification of audio data. For better performance of audio classification, feature selection and combination play a key role as they have the potential to make or break the performance of any DL model. To investigate this role, we conduct an extensive evaluation of the performance of several cutting-edge DL models (i.e., Convolutional Neural Network, EfficientNet, MobileNet, Supper Vector Machine and Multi-Perceptron) with various state-of-the-art audio features (i.e., Mel Spectrogram, Mel Frequency Cepstral Coefficients, and Zero Crossing Rate) either independently or as a combination (i.e., through ensembling) on three different datasets (i.e., Free Spoken Digits Dataset, Audio Urdu Digits Dataset, and Audio Gujarati Digits Dataset). Overall, results suggest feature selection depends on both the dataset and the model. However, feature combinations should be restricted to the only features that already achieve good performances when used individually (i.e., mostly Mel Spectrogram, Mel Frequency Cepstral Coefficients). Such feature combination/ensembling enabled us to outperform the previous state-of-the-art results irrespective of our choice of DL model.

研究の動機と目的

• 異なる音声特徴量の組み合わせが、音声分類における深層学習モデルの性能に与える影響を調査すること。
• 多様な深層学習アーキテクチャを用いた、音声特徴量（メルスペクトログラム、MFCC、ZCR）の統合の有効性を評価すること。
• 個別特徴量と比較して、特徴量統合が分類正確性と推論効率を向上させるかどうかを検証すること。
• 特に音声デジット分類において、異なるデータセットやモデルに一般化可能な最適な特徴量の組み合わせを特定すること。
• 今後の音声特徴量統合および音声分類のための深層学習研究を支援するため、コードと学習済みモデルを公開すること。

提案手法

• 生の音声信号から、最先端の3つの音声特徴量（メルスペクトログラム（MS）、メル周波数ケプストラム係数（MFCC）、ゼロクロッシングレート（ZCR））を抽出した。
• 各特徴量に対して、畳み込みニューラルネットワーク（CNN）、EfficientNetB0、MobileNetV1の3つの深層学習モデルを個別に訓練・評価した。
• 同じモデルに複数の特徴量の特徴マップを連結することで、特徴量統合を実装した（例：MS + MFCC、MS + MFCC + ZCR）。
• 標準的な訓練および検証プロトコルを用いて、3つのベンチマークデータセット（Free Spoken Digits Dataset（FSD）、Audio Urdu Digits Dataset（AUDD）、Audio Gujarati Digits Dataset（AGDD））で実験を行った。
• 正確性（平均 ± 標準偏差）と推論時間（ms）を測定し、性能の有効性と効率性を評価した。
• 全特徴量の組み合わせとモデルに対してアブレーションスタディを実施し、最適な構成を特定した。結果は、エポックごとの検証正確性曲線を用いて可視化した。

実験結果

リサーチクエスチョン

• RQ1 どの個別音声特徴量（MS、MFCC、ZCR）が、異なる深層学習モデルとデータセットにおいて最高の分類正確性を達成するか？
• RQ2 複数の音声特徴量を統合することで、モデル性能が一貫して向上するのか、あるいは逆に劣化する可能性があるか？
• RQ3 音声分類において、特定の特徴量の組み合わせが、異なるモデルやデータセットに一般化しやすいか？
• RQ4 特徴量統合は推論時間とモデル効率にどのように影響を与えるか？
• RQ5 特徴量選択と統合の体系的アプローチが、音声デジット分類分野で最先端の結果を上回ることができるか？

主な発見

• メルスペクトログラム（MS）とメル周波数ケプストラム係数（MFCC）は、すべてのモデルとデータセットで最高の正確性を達成しており、MSは常にMFCCと同等またはそれを上回った。
• ゼロクロッシングレート（ZCR）は、すべてのモデルで著しく性能を低下させ、グルジャティデータセットにおけるEfficientNetB0では正確性が最低で0.321まで低下した。
• MS、MFCC、ZCRの3つの特徴量をすべて統合した場合、MSとMFCCのみの統合よりも一貫して性能が劣り、低精度な特徴量を追加することで全体の性能が損なわれることを示した。
• 最も優れた性能を示したのはMSとMFCCの統合で、MobileNetV1を用いたFree Spoken Digits Datasetでは0.987 ± 0.05の正確性を達成し、以前の最先端結果を上回った。
• MobileNetV1をMSとMFCCの組み合わせで使用した場合、0.63 msの推論時間で0.987 ± 0.05の正確性を達成し、高い効率性を示した。
• 検証曲線から、MSとMFCCでは安定した学習ダイナミクスが観察された一方、ZCRは特に大きなモデル（EfficientNet）では不安定性を示した。