[論文レビュー] Multiple Sound Sources Localization from Coarse to Fine

Rui Qian, Di Hu+4 more|arXiv (Cornell University)|Jul 13, 2020

Speech and Audio Processing参考文献 30被引用数 8

ひとこと要約

本稿では、制約のない動画における複数音源の局所化を目的とした2段階の音声視覚学習フレームワークを提案する。マルチタスク学習とクラス活性マップ（CAM）を用いて音声と視覚の表現を分離し、粗いから細かい段階に分けた方法で一致を図る。公開データセットにおいて最先端の性能を達成し、局所化された視覚的ヒントを用いて効果的な音源分離を実現する。

ABSTRACT

How to visually localize multiple sound sources in unconstrained videos is a formidable problem, especially when lack of the pairwise sound-object annotations. To solve this problem, we develop a two-stage audiovisual learning framework that disentangles audio and visual representations of different categories from complex scenes, then performs cross-modal feature alignment in a coarse-to-fine manner. Our model achieves state-of-the-art results on public dataset of localization, as well as considerable performance on multi-source sound localization in complex scenes. We then employ the localization results for sound separation and obtain comparable performance to existing methods. These outcomes demonstrate our model's ability in effectively aligning sounds with specific visual sources. Code is available at https://github.com/shvdiwnkozbw/Multi-Source-Sound-Localization

研究の動機と目的

• ペairwiseの音源-オブジェクトアノテーションが与えられない複雑で制約のない動画における複数音源の局所化の課題に対処すること。
• 複雑なシーンからの異なるカテゴリの音声と視覚の表現を分離し、一致を向上させること。
• 動画レベルの監視が粗すぎる状況下での複数音源シナリオにおける正確な音声視覚対応を確立すること。
• クラス固有の局所化性能を測定できる、複数音源の音源局所化のための新規な評価パイプラインを開発すること。
• 局所化の結果を活用して、視覚的ガイドを用いた効果的な音源分離を実現すること。

提案手法

• 2段階のフレームワークを提案：まず、音声視覚分類と対応学習を同時に実行するマルチタスク学習の設定を採用する。
• クラス活性マップ（CAM）を用いてカテゴリ固有の視覚特徴を抽出し、複雑なシーンからの音源オブジェクトの分離を可能にする。
• 粗いから細かい段階への音声視覚一致を実施：カテゴリレベルの対応を、動画およびカテゴリレベルの関連に精錬する。
• 局所化されたオブジェクトからの視覚表現を、後続タスクにおける音源分離のガイドとして用いる。
• 重み付きプーリングを用いて混合スペクトログラムからの音声表現を分離し、ソース固有の特徴学習を向上させる。
• 時間的同期とカテゴリレベルのラベルからの自己教師付き学習により、エンドツーエンドでフレームワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 1対1のアノテーションがなくても、複雑なシーンからの音声視覚表現を効果的に分離できるか？
• RQ2 粗い動画レベルの監視をどのように活用して、複数音源環境における細かい音源局所化を達成できるか？
• RQ3 粗いから細かい段階への一致戦略は、制約のない動画における音声視覚対応の正確性を向上させられるか？
• RQ4 局所化の結果は、音源分離性能をどの程度向上させられるか？
• RQ5 提案された評価指標は、既存のベースラインと比較して、複数音源局所化における性能をどの程度的確に反映しているか？

主な発見

• 提案手法は、公開の音源局所化データセットにおいて最先端の性能を達成しており、特に複数音源のシナリオで顕著な結果を示す。
• AudioSet level-2ベンチマークでは、モデルが音源を正確に局所化しており、例としてハープへの誤っての局所化を避けてフルートを正しく特定している。これは、AVCおよびマルチタスクベースラインとは対照的である。
• 視覚的ガイドとして使用された際、モデルの局所化結果は、既存の手法と同等の音源分離性能を達成し、ソロ動画ではSDRが6.53、SIRが12.15、複数音源（ソロ＋デュエット）の学習ではSDRが6.57、SIRが11.90を記録した。
• 視覚表現に基づくガイドは、解像度が低く、分離が不十分なGrad-CAMおよび音声表現に基づくガイドを上回る性能を示した。
• 競合手法よりも少ない音声視覚ペairで強く優れた結果を達成しており、音源抽出のための追加検出器を必要としない。
• 提案された評価パイプラインにより、複雑なシーンにおけるクラス固有の局所化性能の公平かつ詳細な評価が可能になった。