[論文レビュー] A report on sound event detection with different binaural features

Sharath Adavanne, Tuomas Virtanen|arXiv (Cornell University)|Oct 9, 2017

Music and Audio Processing参考文献 18被引用数 60

ひとこと要約

本論文は、ポリフォニー音源イベント検出のために、三つのバイノーラル音声特徴を単一チャンネルのベースラインと比較し、スタックド畳み込み–リカレントネットワークを使用して、TUT Sound Events 2017データセットで、バイノーラル特徴が一般に誤り率を一致または改善することを示す。特に、複数の解像度で抽出された対数メル帯域エネルギー（bin-mul-mbe）は、 tested features の中で最良の誤り率性能を示すことが多い。

ABSTRACT

In this paper, we compare the performance of using binaural audio features in place of single-channel features for sound event detection. Three different binaural features are studied and evaluated on the publicly available TUT Sound Events 2017 dataset of length 70 minutes. Sound event detection is performed separately with single-channel and binaural features using stacked convolutional and recurrent neural network and the evaluation is reported using standard metrics of error rate and F-score. The studied binaural features are seen to consistently perform equal to or better than the single-channel features with respect to error rate metric.

研究の動機と目的

• バイノーラル特徴がモノチャンネル特徴よりポリフォニック SED を改善するかを動機づけ、評価する。
• 三つのバイノーラル特徴タイプを調べ、それを単一チャネルの対数メル帯域エネルギー基準と比較する。
• CRNNアーキテクチャを用いてTUT Sound Events 2017データセットでの性能を評価する。

提案手法

• バイノーラル録音から三つのバイノーラル特徴セット（bin-mbe, bin-mul-mbe, bin-fft）と単一チャネル mbe を抽出する。
• 特徴を時間分布出力を持つスタック型 CNN–GRU–Dense ネットワークに入力し、多ラベル分類を行う。
• 二値交差エントロピー損失、Adam オプティマイザ、ドロップアウト、早期停止で訓練し、1秒セグメントごとにERとFスコアで評価する。
• 各特徴ごとにネットワーク構成を選択するためのランダムハイパーパラメータ探索を行う。
• DCASE 2017の開発セットとチャレンジセットでの結果を報告し、モノチャンネル mbe のベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 選択されたデータセットに対して、バイノーラル特徴はポリフォニック SED において単一チャネル特徴と同等またはより良い誤り率を提供するか。
• RQ2 開発およびチャレンジ設定で最良の ER と F スコアを生むバイノーラル特徴構成はどれか。
• RQ3 多解像度バイノーラル mel 特徴とバイノーラル FFT ベース特徴は、SED におけるモノーチャンネル特徴とどのように比較されるか。
• RQ4 データセットのサイズや特徴タイプは CRNN モデルの安定性と訓練に影響を与えるか。

主な発見

音響特徴量	開発時のER	開発時のFスコア	チャレンジ時のER	チャレンジ時のFスコア
baseline [22]	0.69	56.7	0.94	42.8
mbe	0.55	69.3	0.79	41.7
bin-mbe	0.52	69.1	0.80	42.9
bin-mul-mbe	0.50	70.3	0.85	41.4
bin-fft	0.55	66.9	0.87	36.2

• バイノーラル特徴は、評価全体で一般に単一チャネル mbe と同等またはわずかに上回る誤り率を示す。
• bin-mul-mbe 特徴は、mbe のみと比較して一貫して ER を改善する。
• Bin-fft は ER において競争力のある性能を示すが、検証/訓練損失が高く、データサイズの制限を示唆する。
• チャレンジ評価では、mbe が依然として強力で、bin-mbe が ER と F で僅差追従する。
• 特徴全体において、バイノーラルアプローチは開発時にベースラインより低い ER を達成できる場合があり、チャレンジ設定でも時にはそうなる。
• 全体として、複数解像度で抽出された対数メル帯域エネルギー（bin-mul-mbe）は、しばしば最良の ER パフォーマンスを提供する。