[論文レビュー] CNN depth analysis with different channel inputs for Acoustic Scene Classification

Sergi Perez-Castanos, Javier Naranjo-Alcazar+3 more|arXiv (Cornell University)|Jun 10, 2019

Music and Audio Processing参考文献 24被引用数 5

ひとこと要約

本稿では、最適化された音声表現とアンサンブル学習を用いたCNNベースの音響シーン分類システムを提案し、リアルタイムエッジデプロイに適したものである。調和的成分と打撃的成分を(L-R)ステレオ差分と組み合わせることで、幾何平均アンサンブル集約を用いることで、開発セットで77.06%の最高精度を達成し、単一モデルや他のアンサンブル手法を上回ることを示している。

ABSTRACT

Acoustic scene classification (ASC) has been approached in the last years using deep learning techniques such as convolutional neural networks or recurrent neural networks. Many state-of-the-art solutions are based on image classification frameworks and, as such, a 2D representation of the audio signal is considered for training these networks. Finding the most suitable audio representation is still a research area of interest. In this paper, different log-Mel representations and combinations are analyzed. Experiments show that the best results are obtained using the harmonic and percussive components plus the difference between left and right stereo channels, (L-R). On the other hand, it is a common strategy to ensemble different models in order to increase the final accuracy. Even though averaging different model predictions is a common choice, an exhaustive analysis of different ensemble techniques has not been presented in ASC problems. In this paper, geometric and arithmetic mean plus the Ordered Weighted Averaging (OWA) operator are studied as aggregation operators for the output of the different models of the ensemble. Finally, the work carried out in this paper is highly oriented towards real-time implementations. In this context, as the number of applications for audio classification on edge devices is increasing exponentially, we also analyze different network depths and efficient solutions for aggregating ensemble predictions.

研究の動機と目的

• 異なる音声入力表現がCNNベースの音響シーン分類精度に与える影響を調査すること。
• さまざまなアンサンブル技術—算術平均、幾何平均、OWA—が複数のCNN予測を統合する効果を評価すること。
• リアルタイムエッジデプロイ環境における、ネットワークの深さ、推論速度、精度のトレードオフを分析すること。
• 高精度・低遅延のASCシステムに最適な音声特徴量とアンサンブル集約の組み合わせを特定すること。
• リソース制約のあるデバイスでのリアルタイム音響シーン分類に実用的で効率的なソリューションを提供すること。

提案手法

• ベースの入力表現として、40msのウィンドウ、50%のオーバーラップ、ハミング窓、64バンドのメルフィルターバンクを用いたlog-Melスペクトログラムが使用される。
• 調和的成分と打撃的成分はHPSSを用いて抽出され、(L-R)ステレオ差分と組み合わせてマルチチャネル入力として扱われる。
• パラメータ数が0.5Mから1.5Mに変化する3種類のCNNアーキテクチャを訓練・評価し、推論速度と精度のトレードオフを検証する。
• アンサンブル手法には算術平均、幾何平均、および順序付き重み平均（OWA）が含まれる。OWAは論理ANDに類似した重みベクトルを用いて出力統合を行う。
• 入力表現を異なる構成で組み合わせ、すべてのネットワークで最適な入力組み合わせを同定するためにテストが実施される。
• すべてのモデルは、データオーグメンテーションを用いず、DCASE 2019 ASCチャレンジデータセット上で訓練・評価される。

実験結果

リサーチクエスチョン

• RQ1 CNNベースの音響シーン分類において、モノラル、ステレオ、調和的成分、打撃的成分、またはそれらの組み合わせといった、どの音声入力表現が最高の分類精度を達成するか？
• RQ2 算術平均、幾何平均、OWAといった異なるアンサンブル集約手法は、ASCにおいて性能と頑健性の面でどのように比較されるか？
• RQ3 リアルタイムエッジデプロイ環境において、CNNの深さが精度と推論時間に与える影響は何か？
• RQ4 HPDと(L-R)を組み合わせたマルチチャネル入力は、標準的なlog-Melスペクトログラムよりも性能を向上させるか？
• RQ5 モデルの複雑さや推論遅延を増加させずに、単純なアンサンブル手法が個々のモデルを上回る性能を達成できるか？

主な発見

• 調和的成分と打撃的成分に加え(L-R)ステレオ差分を組み合わせたHPD入力が、すべてのネットワークで最高の精度を達成し、モノラルおよび単一チャネル入力よりも優れている。
• 幾何平均アンサンブル集約が開発セットで最高の性能を示し、77.06%の精度を達成。算術平均やOWAを上回った。
• 論理ANDに類似した重みベクトルを用いたOWAも性能を向上させた。これは、最終出力にすべてのモデルの高信頼度予測が必要であることを示唆している。
• パラメータ数1.5Mの深いネットワークが、常に0.5Mの浅いネットワークを上回るとは限らず、モデルの深さそのものがより高い精度を保証するわけではないことが示された。
• HPD入力表現は最高の精度（77.06%）を達成し、文献では以前に提案されていなかったため、新規な貢献である。
• 幾何平均を用いたアンサンブルは、「ストリートトラフィック」クラスで86.7%の精度を達成し、すべてのクラスおよび手法の中で最高であった。