[論文レビュー] End-to-End Polyphonic Sound Event Detection Using Convolutional Recurrent Neural Networks with Learned Time-Frequency Representation Input

Emre Çakır, Tuomas Virtanen|arXiv (Cornell University)|May 9, 2018

Music and Audio Processing被引用数 12

ひとこと要約

この論文は、生の音声を処理する学習可能な時間周波数特徴抽出ブロックを備えた畳み込み再帰ニューラルネットワーク（CRNN）を用いたエンドツーエンドの多音源音声イベント検出システムを提案する。メルスペクトログ램などの標準的な手作業特徴量を凌駕していないものの、エネルギーが主に0–3 kHz帯に集中するタスク固有の表現を学習しており、この周波数帯域がSEDにとって最も情報を含んでいることが示唆されている。

ABSTRACT

Sound event detection systems typically consist of two stages: extracting hand-crafted features from the raw audio waveform, and learning a mapping between these features and the target sound events using a classifier. Recently, the focus of sound event detection research has been mostly shifted to the latter stage using standard features such as mel spectrogram as the input for classifiers such as deep neural networks. In this work, we utilize end-to-end approach and propose to combine these two stages in a single deep neural network classifier. The feature extraction over the raw waveform is conducted by a feedforward layer block, whose parameters are initialized to extract the time-frequency representations. The feature extraction parameters are updated during training, resulting with a representation that is optimized for the specific task. This feature extraction block is followed by (and jointly trained with) a convolutional recurrent network, which has recently given state-of-the-art results in many sound recognition tasks. The proposed system does not outperform a convolutional recurrent network with fixed hand-crafted features. The final magnitude spectrum characteristics of the feature extraction block parameters indicate that the most relevant information for the given task is contained in 0 - 3 kHz frequency range, and this is also supported by the empirical results on the SED performance.

研究の動機と目的

• 音声イベント検出における二段階パイプラインを排除し、特徴抽出と分類を1つのエンドツーエンドディープラーニングモデルに統合すること。
• ニューラルネットワークが生の音声から直接、多音源SEDに適したより効果的な時間周波数表現を学習できるかを調査すること。
• 学習されたフィルタ応答を分析し、SEDタスクにおいてどの周波数帯域が最も関連性があるかを特定すること。
• 生の音声入力を用いたエンドツーエンド学習の性能を、メルスペクトログラムなどの標準的な手作業特徴量と比較すること。
• 入力サンプリングレートとネットワークアーキテクチャの違いが、学習された表現および最終的な検出性能に与える影響を調査すること。

提案手法

• 生の音声波形から直接時間周波数表現を抽出するために、学習可能なフィルタを備えたフィードフォワード層ブロックを用いる。初期化は標準的なスペクトログラム計算を模倣する。
• 特徴抽出ブロックを後続のCRNN分類器と共同で訓練することで、特徴学習とイベント分類の両方がエンドツーエンドで最適化可能となる。
• 学習された表現への影響を評価するため、8 kHz、16 kHz、24 kHzの各サンプリングレートで音声入力を用いてネットワークを訓練する。
• 訓練後、学習されたフィルタのマグニチュードスペクトルを分析し、特にピークアンプリチュードのシフトに注目して周波数応答の変化を可視化する。
• 比較のため、学習可能なメルフィルタバンクおよびログメルフィルタバンクを用いた実験を実施し、応答を可視化・評価する。
• システムはDCASE2017 SEDチャレンジデータセットで評価され、性能比較の主な指標としてF1スコアが用いられる。

実験結果

リサーチクエスチョン

• RQ1 学習可能な時間周波数特徴抽出器を備えたエンドツーエンドディープラーニングモデルは、固定された手作業特徴量（例：メルスペクトログラム）を用いるシステムを、多音源音声イベント検出で上回ることができるか？
• RQ2 特徴抽出ブロック内の学習されたフィルタ応答から、SEDタスクにおいてどの周波数帯域が最も関連性があるかは明らかになるか？
• RQ3 異なる入力サンプリングレート（8 kHz、16 kHz、24 kHz）は、学習された時間周波数表現および最終的な検出性能にどのように影響するか？
• RQ4 特徴抽出ブロック内の学習フィルタは、標準的な知覚的スケール（例：メルまたはガマトーン）から著しく逸脱しているか？もしそうなら、どのように異なるか？
• RQ5 特徴抽出と分類の共同学習は、標準的なスペクトログラムよりもタスク固有性の高い表現を生成するか？

主な発見

• 提案されたエンドツーエンドシステムは、固定された手作業特徴量（メルフィルタバンク）を用いたCRNNを上回らず、8 kHzメルフィルタバンク実験で最高のF1スコアは61%であった。
• 学習されたフィルタのマグニチュードスペクトルには、3 kHz未満で顕著なアンプリチュード変調が見られ、この周波数帯域がSEDタスクに最も関連する情報を含んでいることが示唆される。
• 4 kHz以上の周波数帯域のフィルタ応答には訓練中にほとんど変化がなく、高周波数成分が検出性能に与える寄与が小さいことが示唆される。
• 学習されたフィルタは純粋な正弦波応答を維持せず、サイドローブや非一様なスペクトル形状を示しており、理想的なフィルタ特性の喪失を示している。
• フィルタの実部と虚部の両方の学習表現は非常に類似しており、複素数フィルタバンク全体で対称的な学習行動が見られる。
• 入力サンプリングレートやネットワークアーキテクチャの違いがあっても、実験全体を通して学習されたフィルタ応答は一貫したパターンを示しており、特に4 kHz未満の低周波数強調が顕著である。