[論文レビュー] Polyphonic audio tagging with sequentially labelled data using CRNN with learnable gated linear units

Yuanbo Hou, Qiuqiang Kong+2 more|arXiv (Cornell University)|Nov 17, 2018

Music and Audio Processing参考文献 15被引用数 10

ひとこと要約

本論文は、順序付きラベル付きデータ（SLD）を用いた多音性音声タギングのため、学習可能なゲーテッド線形ユニット（GLU）を備えたCRNN（GLU-CTC）を提案する。CTC損失はフレームレベルの予測をクリップレベルのラベルにマッピングする。この手法はAUC 0.882を達成し、ベースラインCRNN（0.837）、GLU-GMP（0.803）、GLU-GAP（0.766）を上回り、優れた時系列モデリングおよびラベルマッピング能力を示している。

ABSTRACT

Audio tagging aims to detect the types of sound events occurring in an audio recording. To tag the polyphonic audio recordings, we propose to use Connectionist Temporal Classification (CTC) loss function on the top of Convolutional Recurrent Neural Network (CRNN) with learnable Gated Linear Units (GLU-CTC), based on a new type of audio label data: Sequentially Labelled Data (SLD). In GLU-CTC, CTC objective function maps the frame-level probability of labels to clip-level probability of labels. To compare the mapping ability of GLU-CTC for sound events, we train a CRNN with GLU based on Global Max Pooling (GLU-GMP) and a CRNN with GLU based on Global Average Pooling (GLU-GAP). And we also compare the proposed GLU-CTC system with the baseline system, which is a CRNN trained using CTC loss function without GLU. The experiments show that the GLU-CTC achieves an Area Under Curve (AUC) score of 0.882 in audio tagging, outperforming the GLU-GMP of 0.803, GLU-GAP of 0.766 and baseline system of 0.837. That means based on the same CRNN model with GLU, the performance of CTC mapping is better than the GMP and GAP mapping. Given both based on the CTC mapping, the CRNN with GLU outperforms the CRNN without GLU.

研究の動機と目的

• 重複する音声イベントを含む録音における多音性音声タギングの課題に対処すること。
• 各音声クリップに時間的順序で複数のイベントラベルが付与された順序付きラベル付きデータ（SLD）を活用すること。
• CTC損失を用いてフレームレベルの予測からクリップレベルのイベント検出へのラベルマッピングを改善すること。
• 学習可能なゲーテッド線形ユニット（GLU）が、音声タギングにおけるCRNN性能を向上させる有効性を評価すること。

提案手法

• 音声時系列における時間的依存関係をモデル化するため、学習可能なゲーテッド線形ユニット（GLU）を備えたCRNNアーキテクチャを提案する。
• フレームレベルのラベル確率をクリップレベルのイベント検出にマッピングするために、コネクティスト・テンポラル分類（CTC）損失を適用する。
• 各音声クリップが時間的順序で複数の音声イベントラベルを備えた順序付きラベル付きデータ（SLD）を用いる。
• フレームからクリップへのマッピングに、グローバルマックスプーリング（GLU-GMP）およびグローバル平均プーリング（GLU-GAP）を用いたCRNNの変種とGLU-CTCを比較する。
• 可変長のラベルシーケンスとフレームレベルの予測を処理するために、CTC損失を用いてモデルを学習する。
• DCASE2018音声タギングベンチマークを用いて、受容器下面積（AUC）を指標に性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 グローバルプーリング手法（GMPやGAP）と比較して、CTCベースのラベルマッピングは多音性音声タギングの性能を向上させるか？
• RQ2 学習可能なゲーテッド線形ユニット（GLU）の統合により、多音性環境下での複雑な音声シーケンスをモデル化するCRNNの能力が向上するか？
• RQ3 標準的なCRNNにCTC損失を適用した場合と比較して、GLU-CTCモデルは順序付きラベル付きデータ（SLD）上でどのように性能を発揮するか？
• RQ4 音声タギングにおいて、フレームレベルの予測をクリップレベルのラベルに集約する際、CTC損失関数はグローバルプーリングよりも効果的か？
• RQ5 GLUとCTC損失は、多音性音声タギングにおけるAUC性能向上にそれぞれどの程度寄与しているか？

主な発見

• GLU-CTCモデルはAUC 0.882を達成し、CTCを用いたベースラインCRNN（0.837）を顕著に上回った。
• GLU-CTCはGLU-GMP（0.803）およびGLU-GAP（0.766）を上回り、ラベル集約にCTCベースのマッピングがグローバルプーリングよりも効果的であることを示した。
• 学習可能なゲーテッド線形ユニット（GLU）の統合により、同じCTC損失を用いても、標準的なCRNNよりも性能が向上した。
• CTC損失関数により、重複する音声イベントや順次的な音声イベントの時間的関係がよりよくモデル化された。
• 結果から、GLUとCTC損失が、SLDにおける音声タギング性能の向上に相乗的に寄与することが確認された。