[論文レビュー] CRNNs for Urban Sound Tagging with spatiotemporal context

Augustin Arnault, Nicolas Riche|arXiv (Cornell University)|Aug 24, 2020

Music and Audio Processing参考文献 18被引用数 4

ひとこと要約

本稿では、ログメルスペクトログ램、時空間的メタデータ（時刻、場所）、およびハイブリッド音声埋め込み（汎用的および特化型）を統合したCRNNベースのモデルを提案する。このモデルは、特化型埋め込みにTALNetにインspiredされたCNN-Transformer、事前学習済み汎用埋め込み、およびTime2Vecで埋め込まれたメタデータを組み合わせることで、DCASE 2020 Task 5ベンチマークで最先端の性能を達成した。粗いタグではマクロ-AUPRCが0.8107、細かいタグでは0.7040を記録し、両方の指標でベースラインを上回った。

ABSTRACT

This paper describes CRNNs we used to participate in Task 5 of the DCASE 2020 challenge. This task focuses on hierarchical multilabel urban sound tagging with spatiotemporal context. The code is available on our GitHub repository at https://github.com/multitel-ai/urban-sound-tagging.

研究の動機と目的

• 実世界の音声録音において、時空間的文脈を考慮した階層的マルチラベル都市音声タギングの課題に対処すること。
• スペクトログラム、メタデータ、音声埋め込みという多様な入力モodalを統合することで、DCASE 2020 Task 5ベンチマークにおける性能を向上させること。
• マルチラベル音声タギングにおいて、汎用的な事前学習済み音声埋め込みとタスク固有の学習済み埋め込みを組み合わせることの有効性を調査すること。
• 高度なトレーニング技術およびデータ拡張が、モデルの汎化性能とロバストネスに与える影響を評価すること。
• 都市音声イベント検出および分類のためのスケーラブルでモジュラーなディープラーニングフレームワークを構築すること。

提案手法

• モデルは、主にログメルスペクトログラム（64バンド、0–8 kHz、ハニング窓、ハップ長さ1103）を音声入力表現として使用する。
• 時空間的メタデータ（時刻、曜日、週、場所）はTime2Vec（T2V）を用いて埋め込み、その後トランスフォーマー・エンコーダーを適用して周期的および非周期的パターンを捉える。
• 特化型音声埋め込みは、TALNetにインspiredされたアーキテクチャを用い、グループ正規化、重み標準化、および双方向GRU層の代わりにトランスフォーマー・エンコーダーを統合する。
• 汎用音声埋め込みは、AudioSetで微調整された事前学習済みTALNetモデルから得られ、転移可能な特徴を提供する。
• 最終的な予測ヘッドは、3つの埋め込み（特化型、汎用型、メタデータ）を連結し、マルチラベル分類のための全結合層を適用し、バイナリクロスエントロピー損失を用いる。
• データ拡張には、SpecAugment（周波数/時間マスキング、ワープ）、画像スタイルの拡張（ShiftScaleRotate、Grid Distortion、Cutout）、およびベータ分布を用いたMixupが含まれる。

実験結果

リサーチクエスチョン

• RQ1 時空間的メタデータの統合が、階層的都市音声タギングにおいて顕著な性能向上をもたらすか？
• RQ2 リソースが限られた都市音声タギングの状況において、特化型のタスク学習済み音声埋め込みと汎用的な事前学習済み埋め込みの性能はどのように比較されるか？
• RQ3 CRNNアーキテクチャにおいて双方向GRU層をトランスフォーマー・エンコーダーに置き換えることで、性能の向上と収束速度の向上が達成されるか？
• RQ4 高性能モデル（System2）を用いてトレーニングセットのラベルを再ラベル化することで、最終的なシステム精度にどの程度の寄与があるか？
• RQ5 階層的マルチラベル音声タギングにおいて、最適な損失関数の組み合わせ（例：細粒度タグ用のマスク付きBCE）は何か？

主な発見

• System3は、粗いタグ分類においてマクロ-AUPRCが0.8107を達成し、ベースラインの0.6323を顕著に上回った。
• 細かいタグ分類においては、System3はマクロ-AUPRCが0.7040を記録し、ベースラインの0.5278を上回った。
• 汎用的および特化型の両方の音声埋め込みに加えてメタデータを統合することで、単一の埋め込みタイプのみを用いたモデルに比べ、一貫した性能向上が得られた。
• MixupおよびSpecAugmentのデータ拡張技術の導入により、汎化性能が向上し、AUPRCスコアが上昇した。
• 特化型埋め込みヘッドにトランスフォーマー・エンコーダーを採用することで、モデルパラメータ数が削減され、RNNベースの代替手法に比べて性能が向上した。
• 高性能モデル（System2）を用いた再ラベル化戦略により、トレーニングラベルの品質が向上し、バリデーションセットにおける汎化性能の向上に寄与した。