[論文レビュー] A Unified Audio-Visual Learning Framework for Localization, Separation, and Recognition

Shentong Mo, Pedro Morgado|arXiv (Cornell University)|May 30, 2023

Speech and Audio Processing被引用数 6

ひとこと要約

本稿では、共有エンコーダとタスク固有のデコーダを用いて音源の局所化、分離、認識を統合的に実行する統合的音声視覚学習フレームワークOneAVMを提案する。音声視覚の対応関係、混合音声の分離、および新規の混合視覚アライメント目的関数を統合することで、OneAVMは、タスク固有のファインチューニングを必要とせず、MUSIC、VGG-Instruments、VGG-Music、VGGSoundの各データセットにおいて、すべての3つのタスクで最先端の性能を達成した。これは、強力なタスク間転送能力を示している。

ABSTRACT

The ability to accurately recognize, localize and separate sound sources is fundamental to any audio-visual perception task. Historically, these abilities were tackled separately, with several methods developed independently for each task. However, given the interconnected nature of source localization, separation, and recognition, independent models are likely to yield suboptimal performance as they fail to capture the interdependence between these tasks. To address this problem, we propose a unified audio-visual learning framework (dubbed OneAVM) that integrates audio and visual cues for joint localization, separation, and recognition. OneAVM comprises a shared audio-visual encoder and task-specific decoders trained with three objectives. The first objective aligns audio and visual representations through a localized audio-visual correspondence loss. The second tackles visual source separation using a traditional mix-and-separate framework. Finally, the third objective reinforces visual feature separation and localization by mixing images in pixel space and aligning their representations with those of all corresponding sound sources. Extensive experiments on MUSIC, VGG-Instruments, VGG-Music, and VGGSound datasets demonstrate the effectiveness of OneAVM for all three tasks, audio-visual source localization, separation, and nearest neighbor recognition, and empirically demonstrate a strong positive transfer between them.

研究の動機と目的

• 音声視覚認識におけるタスク固有モデルの限界を克服するため、局所化、分離、認識を1つのフレームワークに統合すること。
• 音声視覚の対応関係、源分離、視覚特徴の分離最適化を共同で最適化することで、タスク間転送を活用すること。
• 混合画像と個々の音源を対応付ける新規の混合視覚アライメント目的関数を導入することで、音源局所化および分離の性能を向上させること。
• 複数の音源が存在する複雑なシーンにおいても、複数タスクの共同最適化がより良い一般化性と耐障害性をもたらすことを示すこと。
• 各下流タスクのファインチューニングを必要とせず、タスク固有のベースラインを上回る単一の統合モデルを提供すること。

提案手法

• OneAVMは、ビデオおよび音声入力を統合的に処理するための共有2ストリーム音声視覚エンコーダを採用する。
• フレームレベルでの音声と視覚特徴を対応付けるために、局所的音声視覚対応損失を適用する。
• 音声ストリームに対して、源分離のための判別的表現を学習するための「ミックス＆セパレート」目的関数を適用する。
• 画像をピixe レベルで混合し、その表現をすべての対応音源とアライメントする新規の混合視覚アライメント（MVA）目的関数を導入する。
• タスク固有のデコーダは、音声視覚対応、音声分離、およびMVAによる視覚特徴の分離の3つの目的関数を用いて訓練される。
• マルチタスク学習によりエンドツーエンドで訓練され、局所化、分離、認識の各タスク間で共有表現学習が可能となる。

実験結果

リサーチクエスチョン

• RQ1 統合的音声視覚モデルが、音源局所化、分離、認識を同時に最適化し、すべてのタスクで性能向上を達成できるか？
• RQ2 混合視覚アライメントの統合が、視覚特徴の分離と局所化精度にどのように寄与するか？
• RQ3 共同最適化が、特に局所化と分離の間でタスク間転送に与える影響は何か？
• RQ4 標準的な監視学習と比較して、視覚入力が混合されている状況下で、提案されたMVA目的関数が表現学習にどのように寄与するか？
• RQ5 複数音源の状況下において、統合フレームワークがタスク固有モデルと比較して性能と一般化性に優れているか？

主な発見

• OneAVMは、視覚的音源局所化において最先端の性能を達成し、VGGSound-Allデータセットで3つ以上の音源に対して39.68%の精度を記録し、CCoLおよびEZ-VSLを上回った。
• 対応関係および局所化の目的関数を併用して訓練した場合、分離専用ベースラインと比較して、SDRが1.53向上、SARが1.6向上した。
• 源分離の最適なデコーダ深さは8であり、それより深い構造では過学習のため性能が低下した。
• 混合視覚アライメント（MVA）目的関数における混合比が0.5のとき、すべての指標で最高の局所化性能を示した。
• 音源数の増加に伴う性能の低下が、ベースラインと比較して遅やかに進行しており、複雑なシーンでも耐障害性が高いことが示された。
• MUSICデータセットではSARがMP-Netよりわずかに低かったが、局所化および認識タスクで優れた性能を示し、多タスクの利点が顕著に現れた。