[論文レビュー] AclNet: efficient end-to-end audio classification CNN

Jonathan Huang, Juan Jose Alvarado Leanos|arXiv (Cornell University)|Nov 16, 2018

Music and Audio Processing参考文献 10被引用数 24

ひとこと要約

AclNet は、raw waveforms と depthwise separable convolutions を用いて ESC-50 で最先端の 85.65% の精度を達成する、軽量でエンド・ツー・エンドの CNN である。mixup データ拡張と効率性とデプロイの最適化を図ったスケーラブルなアーキテクチャを組み合わせることで、最小限の計算リソースで高い精度を実現する。155k パラメータと 49.3 MMACS のわずかな計算量で 81.75% の精度を達成している。

ABSTRACT

We propose an efficient end-to-end convolutional neural network architecture, AclNet, for audio classification. When trained with our data augmentation and regularization, we achieved state-of-the-art performance on the ESC-50 corpus with 85:65% accuracy. Our network allows configurations such that memory and compute requirements are drastically reduced, and a tradeoff analysis of accuracy and complexity is presented. The analysis shows high accuracy at significantly reduced computational complexity compared to existing solutions. For example, a configuration with only 155k parameters and 49:3 million multiply-adds per second is 81:75%, exceeding human accuracy of 81:3%. This improved efficiency can enable always-on inference in energy-efficient platforms.

研究の動機と目的

• 高い精度と低い計算複雑性のバランスをとった、音声分類のための効率的でエンド・ツー・エンドの CNN アーキテクチャの開発。
• モデルサイズと推論計算量を最小限に抑えることで、エネルギー制限のあるプラットフォームへのデプロイを可能にする。
• スケーラブルなアーキテクチャ設計を通じて、モデルの複雑さと精度のトレードオフを調査する。
• 音声ドメインにおける mixup データ拡張を活用して一般化性能と性能を向上させる。
• 適切なアーキテクチャとトレーニング手法を組み合わせることで、raw waveform 入力が従来のスペクトル特徴を上回ることを実証する。

提案手法

• AclNet は、従来の MFCC などのスペクトル特徴に代わる、raw waveforms にストライド付き 1D 畳み込みを適用する 2段階のロー・レベル特徴（LLF）ブロックを採用する。
• LLF ブロックは、計算コストを低減しつつ特徴抽出能力を維持するため、depthwise separable convolutions（DWSC）を採用する。
• ハイ・レベル特徴（HLF）は、1×1 畳み込みとグローバル・アベレージ・プーリングを用いた VGG に類似したアーキテクチャであり、入力長の任意性を実現し、パラメータ数を削減する。
• 一般化性能の向上と精度の向上を図るため、α=0.1 の mixup データ拡張を採用し、精度を約 5% 向上させた。
• 幅乗数（WM）がモデル容量を制御し、精度と複雑さの間でスケーラブルなトレードオフを実現する。
• 手作業で作成されたスペクトル特徴を一切使用せず、raw waveforms でエンド・ツー・エンドにトレーニングすることで、データ駆動型の特徴学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 raw waveforms を使用するエンド・ツー・エンドの CNN は、低い計算複雑性を維持しながら、音声分類で最先端の性能を達成できるか？
• RQ2 mixup データ拡張は、音声分類タスクにおける一般化性能と精度にどのように影響を与えるか？
• RQ3 さまざまなアーキテクチャ設定において、モデルの複雑さ（パラメータ数と FLOPs）と精度のトレードオフはどのようになるか？
• RQ4 depthwise separable convolutions は、精度を損なわず、モデルサイズと推論コストを顕著に削減できるか？
• RQ5 AclNet が ESC-50 で人間レベルの性能を超えるのは、どのモデルサイズと計算レベルのときか？

主な発見

• AclNet は、44.1kHz 入力、depthwise separable convolutions、幅乗数 1.5 を用いて、ESC-50 データセットで 85.65% の最先端の精度を達成した。
• 155k パラメータと 49.3 MMACS のわずかな計算量で 81.75% の精度を達成し、人間レベルの精度 81.3% を上回った。これは、常時起動推論に適したモデルである。
• mixup データ拡張の導入が性能向上に顕著に寄与し、ベースライントレーニングと比較して精度を約 5% 向上させた。
• 同じ幅乗数の条件下で、depthwise separable convolutions は、標準的な畳み込みと比較してパラメータ数と FLOPs を 80% 以上削減した。
• 44.1kHz 入力と SC を用い、1197k パラメータと 255 MMACS で 83.95% の精度を達成したが、わずかに精度が低いものの、EnvNetV2 よりも効率的であった。
• 最高性能を発揮した設定（44.1kHz、SC、WM=1.5）では、パラメータ数が EnvNetV2 の 1/10 であり、演算数も 16% 少ないが、84.9% の精度を達成した。