[論文レビュー] R-CRNN: Region-based Convolutional Recurrent Neural Network for Audio Event Detection

Chieh-Chi Kao, Weiran Wang+2 more|arXiv (Cornell University)|Aug 20, 2018

Music and Audio Processing被引用数 6

ひとこと要約

本稿では、フレームレベルの予測や後処理を経ずに、イベントの発生時刻と終了時刻を直接予測するエンド・ツー・エンドの音声イベント検出のための領域ベースの畳み込み再帰ニューラルネットワーク、R-CRNNを提案する。Faster R-CNNにインspiredされたフレームワークに双方向GRUを統合することで、R-CRNNは長期的な時間的文脈を捉え、DCASE 2017チャレンジにおいて、開発セットでイベントベースの誤差率0.09を達成し、最先端の性能を発揮した。これはアンサンブル手法を用いない方法の中で最高であり、R-FCNと比較して誤差率を半減させた。

ABSTRACT

This paper proposes a Region-based Convolutional Recurrent Neural Network (R-CRNN) for audio event detection (AED). The proposed network is inspired by Faster-RCNN, a well known region-based convolutional network framework for visual object detection. Different from the original Faster-RCNN, a recurrent layer is added on top of the convolutional network to capture the long-term temporal context from the extracted high level features. While most of the previous works on AED generate predictions at frame level first, and then use post-processing to predict the onset/offset timestamps of events from a probability sequence; the proposed method generates predictions at event level directly and can be trained end-to-end with a multitask loss, which optimizes the classification and localization of audio events simultaneously. The proposed method is tested on DCASE 2017 Challenge dataset. To the best of our knowledge, R-CRNN is the best performing single-model method among all methods without using ensembles both on development and evaluation sets. Compared to the other region-based network for AED (R-FCN) with an event-based error rate (ER) of 0.18 on the development set, our method reduced the ER to half.

研究の動機と目的

• フレームレベルの予測や後処理を回避するエンド・ツー・エンドの音声イベント検出モデルの開発。
• 再帰的モデリングにより長期的な時間的文脈を活用することで、レアな音声イベントの性能を向上させる。
• 領域ベースの検出フレームワーク（Faster R-CNN）を音声スペクトログラムに適応させ、正確なイベント境界の予測を実現する。
• 限られた実世界データに対して、事前学習と微調整戦略の有効性を評価する。

提案手法

• モデルは、残差ブロックと双方向GRUを備えたCRNN（畳み込み再帰ニューラルネットワーク）を用い、30秒間のスペクトログラムから高レベルの特徴を抽出する。
• 領域提案ネットワーク（RPN）は、特徴マップに基づいてイベントの区間（候補）を生成し、画像におけるオブジェクト検出と同様のプロセスを踏む。
• 最終的な分類器は、各候補の中心位置と長さを精緻化し、マルチタスク損失関数を用いてイベントクラス、発生時刻、終了時刻を予測する。
• 分類と局所化を同時に最適化するためのジョイント損失関数を用いて、エンド・ツー・エンドでネットワークを学習する。
• 大規模データセット（例：AudioSet）での事前学習と微調整を適用することで、特に実際のイベントサンプルが限られる状況でも特徴表現を向上させる。
• 2次元畳み込みカーネルを時間軸と周波数軸に使用し、最終的な特徴マップの時間分解能は186 msである。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドの学習が可能な領域ベースのディープラーニングフレームワークを、音声イベント検出に効果的に適応できるか。
• RQ2 領域ベースのネットワークに再帰層を組み込むことで、長期的な時間的依存性をモデル化し、音声イベント検出の性能が向上するか。
• RQ3 限られた実世界データに対して、特徴抽出器の事前学習と微調整が検出性能に与える影響は何か。
• RQ4 フレームレベルの予測や後処理を経ずにイベントレベルの予測が可能となり、一般化性能が向上するか。

主な発見

• R-CRNNは、DCASE 2017の開発セットでイベントベースの誤差率0.09を達成し、すべてのアンサンブルを用いない手法を上回った。
• R-FCN（0.18 対 0.09）と比較して誤差率を半減させたことから、領域ベースの検出における再帰的モデリングの有効性が示された。
• CRNNの事前学習と微調整により、性能が著しく向上し、誤差率は事前学習なしでは0.23であったのに対し、0.09に低下した。
• 評価セットでは、R-CRNNは誤差率0.23、Fスコア87.9%を達成し、ベースラインやR-FCNを上回ったが、トップのアンサンブル手法には及ばなかった。
• アブレーションスタディの結果、事前学習済みのCRNNを学習中に固定すると性能が制限されることが確認され、微調整が最適な結果を得る上で不可欠であることが示された。
• レアなイベント（例：赤ちゃんの泣き声、ガラスの割れる音、銃声）に対しても、実データが限られても低誤差率を達成するなど、優れた一般化性能を示した。