[論文レビュー] Classifying Variable-Length Audio Files with All-Convolutional Networks and Masked Global Pooling

Lars Hertel, Huy Phan+1 more|arXiv (Cornell University)|Jul 11, 2016

Music and Audio Processing参考文献 10被引用数 12

ひとこと要約

本論文は、音声シーン分類および家庭内音声タグ付けタスクにおける可変長音声ファイルの分類を目的として、マスク付きグローバルプーリングを備えたすべての畳み込みニューラルネットワークを提案する。完全結合層やドロップアウトを用いず、原始的なSTFT特徴量を処理することで、84.5%の正確度（ベースライン72.5%）および0.17の等誤差率（ベースライン0.21）を達成し、エンド・トゥ・エンドの特徴量学習と可変長入力への適応的プーリングにより優れた性能を示した。

ABSTRACT

We trained a deep all-convolutional neural network with masked global pooling to perform single-label classification for acoustic scene classification and multi-label classification for domestic audio tagging in the DCASE-2016 contest. Our network achieved an average accuracy of 84.5% on the four-fold cross-validation for acoustic scene recognition, compared to the provided baseline of 72.5%, and an average equal error rate of 0.17 for domestic audio tagging, compared to the baseline of 0.21. The network therefore improves the baselines by a relative amount of 17% and 19%, respectively. The network only consists of convolutional layers to extract features from the short-time Fourier transform and one global pooling layer to combine those features. It particularly possesses neither fully-connected layers, besides the fully-connected output layer, nor dropout layers.

研究の動機と目的

• 音声シーン分類および家庭内音声タグ付けタスクにおける可変長音声ファイルの分類の課題に対処すること。
• 手作業で設計された特徴量に依存するベースラインシステムを改善するため、STFT表現に基づくエンド・トゥ・エンドのディープラーニングを活用すること。
• 完全結合層とドロップアウトを排除し、正則化および効率性の観点から畳み込み層とグローバルプーリングにのみ依存すること。
• 入力の切り詰めやゼロパディングなしに、多様な音声長にわたって一般化可能な、パラメータ効率の良いアーキテクチャを構築すること。

提案手法

• ネットワークは、短時間フーリエ変換（STFT）の振幅を入力として処理し、25 msのハン窓と15 msのホップサイズを用いる。
• 時間次元をダウンサンプリングするために、カーネルサイズ3、ストライド2の1次元畳み込み層をスタックし、従来のプーリング層の代わりに使用する。
• マスク付きグローバル平均プーリング層が時間方向に特徴量を集約し、パディング領域を無視することで、入力長に応じて動的に適応する。
• 各畳み込み層の後にReLU活性化関数を適用し、完全結合層を回避することでパラメータ数と学習時間を削減する。
• 入力特徴量をゼロ平均と単位分散に正規化するために、データセット全体にわたって特徴量の標準化を実施する。
• MFCCのような手作業特徴量を一切使用せず、原始的なSTFT入力に対してエンド・トゥ・エンドで学習し、学習されたフィルターバンクに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 マスク付きグローバルプーリングを備えたすべての畳み込みネットワークは、可変長音声における音声シーン分類で、従来のベースラインを上回る性能を示せるか？
• RQ2 入力の切り詰めやゼロパディングなしに、マスク付きグローバルプーリングは可変長音声入力に対処するのにどの程度有効か？
• RQ3 完全結合層とドロップアウトを削除しても、音声分類タスクで依然として良好な一般化性能を発揮できるか？
• RQ4 16 kHzにダウンサンプリングするのではなく、44.1 kHzの完全なサンプリングレートを保持することで、性能はどの程度向上するか？
• RQ5 STFT特徴量に対するエンド・トゥ・エンド学習は、MFCCのような手作業特徴量に基づくシステムを上回れるか？

主な発見

• 音声シーン分類において、4分割交差検証で平均84.5%の正確度を達成し、ベースラインの72.5%から12ポイントの向上を示した。
• 家庭内音声タグ付けにおいて、等誤差率（EER）は0.17を記録し、ベースラインの0.21に対して19%の相対的改善を達成した。
• ネットワークは、カフェ／レストランおよび住宅地域の2つの音声シーンを除き、すべての音声シーンでベースラインを上回った。
• ネットワークにとって最も困難なシーンは「公園」で、認識率は13.9%に留まり、ベースラインと同等の性能を示した。
• 「オフィス」と「地下鉄駅」のシーンでは特に優れた性能を示し、一部の交差検証で100%の正確度を達成した。
• 子供の発話はEER 0.06で最も認識しやすく、成人男性の発話はEER 0.20で最も認識が困難だった。また、広帯域ノイズやビデオゲーム／テレビのタグでは、ベースラインの強力な性能にもかかわらず、ネットワークは苦戦した。