[論文レビュー] Sound event detection via dilated convolutional recurrent neural networks

Yanxiong Li, Mingle Liu+2 more|arXiv (Cornell University)|Nov 25, 2019

Music and Audio Processing参考文献 21被引用数 5

ひとこと要約

本稿では、受容 field を拡大し、モデルパラメータを増加させずに長距離の時系列依存関係を捉えるために拡張畳み込みを活用する、拡張畳み込み再帰ニューラルネットワーク（dilated CRNN）を提案する。TUT-SED 2016 において、標準的な CRNN と比較して最高で 6.3% 高い F1 スコアおよび最高で 4.1% 低い誤差率を達成し、効率的な文脈モデリングにより SED の性能が向上することを示している。

ABSTRACT

Convolutional recurrent neural networks (CRNNs) have achieved state-of-the-art performance for sound event detection (SED). In this paper, we propose to use a dilated CRNN, namely a CRNN with a dilated convolutional kernel, as the classifier for the task of SED. We investigate the effectiveness of dilation operations which provide a CRNN with expanded receptive fields to capture long temporal context without increasing the amount of CRNN's parameters. Compared to the classifier of the baseline CRNN, the classifier of the dilated CRNN obtains a maximum increase of 1.9%, 6.3% and 2.5% at F1 score and a maximum decrease of 1.7%, 4.1% and 3.9% at error rate (ER), on the publicly available audio corpora of the TUT-SED Synthetic 2016, the TUT Sound Event 2016 and the TUT Sound Event 2017, respectively.

研究の動機と目的

• 深層ニューラルネットワークにおける時系列文脈モデリングを向上させることで、音声イベント検出（SED）の性能を向上させること。
• 標準的な CRNN が受容 field の制限により長距離依存関係を捉えきれていないという限界を解消すること。
• モデルパラメータを増加させずに文脈を拡張するための拡張畳み込みの有効性を検証すること。
• TUT-SED 2016、2017、Synthetic 2016 などの標準的な SED ベンチマーク上で、提案された拡張畳み込み CRNN の性能を評価すること。
• F1 スコアおよび誤差率の観点から、拡張畳み込み CRNN とベースライン CRNN の性能を比較すること。

提案手法

• 提案モデルは、再帰層の前に拡張畳み込み層を用いて、ネットワークの受容 field を拡大する。
• 畳み込み層に拡張率を適用することで、パrameter 数を増加させずに有効な視野を拡大する。
• 局所的特徴抽出のための畳み込み層と、系列モデリングのための双方向長短期記憶（BLSTM）層を組み合わせたアーキテクチャを採用する。
• 拡張畳み込みにより、正確な音声イベントの局所化に不可欠な長期間の時系列依存関係を捉えることが可能になる。
• 弱教師ありの音声データ（イベント境界付き）を用いて、クロスエントロピー損失に基づきエンドツーエンドでモデルを学習する。
• 最終的な予測ヘッドは、各音声イベントクラスのフレームごとの確率を出力する。

実験結果

リサーチクエスチョン

• RQ1 拡張畳み込みを用いることで、受容 field を拡大することで CRNN の音声イベント検出性能が向上するか？
• RQ2 拡張畳み込みの使用が、音声シーケンスにおける長距離の時系列依存関係のモデリングを改善するか？
• RQ3 公開の SED データセット（TUT-SED 2016、2017 など）において、拡張畳み込み CRNN は標準的な CRNN と比較して F1 スコアおよび誤差率で優れているか？
• RQ4 モデルパラメータ数を増加させずに、拡張畳み込み CRNN は性能を維持または向上させることができるか？
• RQ5 拡張率の設定が、異なる音声イベントの検出精度に与える影響は何か？

主な発見

• TUT Sound Event 2016 データセットにおいて、ベースライン CRNN と比較して、拡張畳み込み CRNN は最大で 6.3% の F1 スコア向上を達成した。
• TUT-SED Synthetic 2016 データセットでは、F1 スコアが 1.9% 向上し、誤差率が 1.7% 減少した。
• TUT Sound Event 2017 データセットでは、F1 スコアが 2.5% 向上し、誤差率が 3.9% 減少した。
• 性能向上は、3 つのベンチマークデータセットすべてで一貫しており、本手法の汎用性を示している。
• モデルパラメータ数を増加させることなく、これらの向上を達成しており、パrameter の効率性が顕著に示された。
• 結果から、拡張畳み込みが SED タスクにおける時系列モデリングを効果的に向上させることを確認した。