[論文レビュー] Efficient Convolutional Neural Network For Audio Event Detection

Matthias Meyer, Lukas Cavigelli+1 more|arXiv (Cornell University)|Sep 28, 2017

Music and Audio Processing参考文献 13被引用数 11

ひとこと要約

本論文は、最先端のモデルと比較してメモリ使用量を515倍、計算演算量を2.1倍削減しながら、精度を9.2%向上させる、音声イベント検出に特化した高効率な畳み込みニューラルネットワーク（CNN）を提案する。この手法は、全結合層を含まない構造的で深さ方向に分離されたCNNアーキテクチャを採用しており、ARM Cortex-M7デバイスを含む低消費電力の組み込みシステムでもリアルタイム推論を可能にする。

ABSTRACT

Wireless distributed systems as used in sensor networks, Internet-of-Things and cyber-physical systems, impose high requirements on resource efficiency. Advanced preprocessing and classification of data at the network edge can help to decrease the communication demand and to reduce the amount of data to be processed centrally. In the area of distributed acoustic sensing, the combination of algorithms with a high classification rate and resource-constraint embedded systems is essential. Unfortunately, algorithms for acoustic event detection have a high memory and computational demand and are not suited for execution at the network edge. This paper addresses these aspects by applying structural optimizations to a convolutional neural network for audio event detection to reduce the memory requirement by a factor of more than 500 and the computational effort by a factor of 2.1 while performing 9.2% better.

研究の動機と目的

• 最先端のCNNが音声イベント検出に求められる高コストなメモリと計算リソースを軽減し、低消費電力の組み込みシステムへのデプロイを妨げる要因を解消すること。
• パラメータ数とMAC演算量を著しく削減しながらも、高い分類精度を維持するリソース効率の良いCNNアーキテクチャの開発。
• メモリと処理能力が制限されたセンサーノードやマイコンなど、エッジデバイス上でリアルタイムの音声イベント検出を実現すること。
• ハードウェアアクセラレータと互換性のあるネットワーク構造を設計し、エッジコンピューティング環境におけるエネルギー効率を向上させること。

提案手法

• 入力音声を時間周波数表現に変換するため、原始音声に短時間フーリエ変換（STFT）を適用するフロントエンドを採用する。
• パラメータ数と計算複雑性を低減しながらも特徴抽出能力を保持するため、深さ方向に分離された畳み込み構造を採用する。
• 全結合層をグローバル平均プーリングに置き換えることで、モデルサイズとパラメータ数を最小限に抑える。
• ESC-50データセットからの4秒間のウィンドウ入力を用い、交差エントロピー損失関数とADAM最適化アルゴリズムを用いて学習を実施する。
• アクセラレータのメモリアクセスと計算パターンと整合する、規則的で構造的な計算パターンを確保することで、ハードウェアアクセラレータ向けに最適化する。
• 性能と効率へのアーキテクチャ設計の影響を明確に分離するため、主な実験ではデータオーグメンテーションを一切使用しない。

実験結果

リサーチクエスチョン

• RQ1 CNNベースの音声イベント検出モデルを、精度を損なわずに、メモリ使用量と計算コストの両面で著しく効率化できるか？
• RQ2 深さ方向に分離された畳み込みやグローバル平均プーリングといったアーキテクチャ的変更が、モデルサイズと推論コストをどの程度削減できるか？
• RQ3 極めて効率的なCNNが、メモリと処理能力が制限された低消費電力の組み込みマイコン上でリアルタイムにデプロイ可能か？
• RQ4 複雑なデータオーグメンテーションを用いずに学習させた場合、提案アーキテクチャが最先端モデルと比較して分類精度を維持または向上できるか？

主な発見

• 提案モデルのCNN-CとCNN-CNPは、それぞれ86.0%および85.1%の精度を達成。データオーグメンテーションなしの条件下で、参照モデルA（77.9%）およびB（80.3%）を上回る。
• メモリ要件が、参照モデルの466 MBから提案モデルの約904 kBにまで515倍削減された。
• 乗算累積演算（MAC）の数が、モデルBの3533 MからCNN-CNPの1239 Mに2.1倍削減された。
• データオーグメンテーションなしで評価した場合、参照モデルAと比較して、提案モデルが9.2%の精度向上を達成した。
• NXP KV5xやST STM32F7など、最大2 MBのフラッシュメモリと430 M MAC/sを超える処理能力を持つ低消費電力デバイスでも、モデルのデプロイが可能であり、リアルタイム推論が可能である。
• 構造的で畳み込みのみの設計は、ハードウェアアクセラレータと相性が良く、さらなるエネルギー効率とパフォーマンスの向上が可能である。