[論文レビュー] On the performance of residual block design alternatives in convolutional neural networks for end-to-end audio classification

Javier Naranjo-Alcazar, Sergi Perez-Castanos+3 more|arXiv (Cornell University)|Jun 26, 2019

Music and Audio Processing参考文献 24被引用数 9

ひとこと要約

本稿では、生波形を用いたエンドツーエンド音声分類のための1次元畳み込みニューラルネットワークにおける6種類の残差ブロック（RB）設計を評価し、さまざまな入力正規化手法との比較を行った。結果として、RBの性能は正規化タイプに強く依存しており、RB1およびRB2が一貫して他のブロックを上回った。また、1次元アーキテクチャは、log-Melスペクトログ램を用いた2次元アーキテクチャを上回ったことがわかった。

ABSTRACT

Residual learning is a recently proposed learning framework to facilitate the training of very deep neural networks. Residual blocks or units are made of a set of stacked layers, where the inputs are added back to their outputs with the aim of creating identity mappings. In practice, such identity mappings are accomplished by means of the so-called skip or residual connections. However, multiple implementation alternatives arise with respect to where such skip connections are applied within the set of stacked layers that make up a residual block. While ResNet architectures for image classification using convolutional neural networks (CNNs) have been widely discussed in the literature, few works have adopted ResNet architectures so far for 1D audio classification tasks. Thus, the suitability of different residual block designs for raw audio classification is partly unknown. The purpose of this paper is to analyze and discuss the performance of several residual block implementations within a state-of-the-art CNN-based architecture for end-to-end audio classification using raw audio waveforms. For comparison purposes, we analyze as well the performance of the residual blocks under a similar 2D architecture using a conventional time-frequency audio represen-tation as input. The results show that the achieved accuracy is considerably dependent, not only on the specific residual block implementation, but also on the selected input normalization.

研究の動機と目的

• 生波形を入力として用いたエンドツーエンド音声分類のための、さまざまな1次元畳み込みニューラルネットワーク（1D CNN）における残差ブロック（RB）設計の性能を評価すること。
• さまざまな入力正規化手法が、これらの残差ブロックバリアントの性能に与える影響を分析すること。
• 時間周波数表現（例：log-Melスペクトログラム）を用いた2次元アーキテクチャと比較して、1次元残差ネットワークの性能を評価すること。
• 1次元残差ネットワークが、精度および学習安定性の観点から2次元表現に比べて優位性を示すかどうかを特定すること。
• 生音声分類における最適なRBアーキテクチャおよび前処理戦略の選定に関する実証的ガイダンスを提供すること。

提案手法

• 画像分類で一般的に用いられる6種類の残差ブロック設計を、生音声入力用の1次元畳み込みニューラルネットワークに適応した。
• すべての実験の基盤として、先行研究で提示されたベースライン1D ResNetアーキテクチャを採用した。
• 複数の入力正規化手法を適用：前処理なし、最小最大スケーリング（scale max）、平均標準偏差正規化。
• 2つの公開データセット（UrbanSound8kおよびESC-10（ESC-50サブセット））を用いてモデルを訓練および評価した。
• RBおよび正規化タイプ間の性能差を比較するため、Tukey-Kramer法を用いた統計的有意性検定を実施した。
• アブレーションおよびベンチマークとして、log-Melスペクトログラム入力の2次元ResNetバージョンと1次元残差ネットワークを比較した。

実験結果

リサーチクエスチョン

• RQ1 さまざまな残差ブロック設計が、1次元CNNにおける生音声分類の分類精度にどのように影響を与えるか？
• RQ2 入力正規化が、さまざまな残差ブロック実装の性能にどのように影響を与えるか？
• RQ3 1次元残差ネットワークは、時間周波数表現（例：log-Melスペクトログラム）を用いた2次元アーキテクチャを上回る性能を示すか？
• RQ4 異なるデータセットおよび正規化方式において、残差ブロック設計の順位付けが一貫しているか？
• RQ5 さまざまな前処理条件下での残差ブロックバリアント間の性能差に、統計的に有意な差があるか？

主な発見

• RB1およびRB2は、入力正規化の種別にかかわらず、UrbanSound8kおよびESC-10の両データセットで一貫して最高の分類精度を達成した。
• 残差ブロック設計と入力正規化の組み合わせによって性能に顕著な差が生じ、どのRBも普遍的に優れているとは限らなかった。
• 1次元残差ネットワークアーキテクチャは、log-Melスペクトログラムを用いた2次元ResNetを上回る性能を示した。これは、エンドツーエンドの生音声処理に利点があることを示唆している。
• Tukey-Kramerの事後検定により、特に「前処理なし」と「max」正規化下で、RB2およびRB5の間で統計的に有意な性能差が確認された。
• 平均標準偏差正規化下では、RB3の性能が他のRBと顕著に異なっていた。これは、この正規化タイプに対して特に感受性が高いことを示している。
• 結果から、音声用に1次元ResNetアーキテクチャを設計することは、2次元アーキテクチャを設計するよりも複雑さが少なく、ハイパーパrameterの数も少なく、表現選択への感受性も低いことが示唆された。