[論文レビュー] Co-Separating Sounds of Visual Objects

Ruohan Gao, Kristen Grauman|arXiv (Cornell University)|Apr 16, 2019

Speech and Audio Processing参考文献 49被引用数 10

ひとこと要約

本論文は、類似する視覚的対象間の音声埋め込みの一貫性を活用することで、ラベルなしで自然に発生する複数音源動画からオブジェクトレベルの音声分離を学習できる共同分離学習フレームワークを提案する。この手法は、MUSIC、AudioSet、AV-Benchの各データセットにおいて、音声・視覚的音源分離およびノイズ除去の分野で最先端の性能を達成しており、訓練時に個々の対象が単独で登場しなかった場合でも有効である。

ABSTRACT

Learning how objects sound from video is challenging, since they often heavily overlap in a single audio channel. Current methods for visually-guided audio source separation sidestep the issue by training with artificially mixed video clips, but this puts unwieldy restrictions on training data collection and may even prevent learning the properties of "true" mixed sounds. We introduce a co-separation training paradigm that permits learning object-level sounds from unlabeled multi-source videos. Our novel training objective requires that the deep neural network's separated audio for similar-looking objects be consistently identifiable, while simultaneously reproducing accurate video-level audio tracks for each source training pair. Our approach disentangles sounds in realistic test videos, even in cases where an object was not observed individually during training. We obtain state-of-the-art results on visually-guided audio source separation and audio denoising for the MUSIC, AudioSet, and AV-Bench datasets.

研究の動機と目的

• 人工的に混合された音声クリップに依存し、単一音源の訓練データを仮定する従来のミックス＆分離学習パラダイムの限界を解消すること。
• 音声が自然に重なっている現実世界のラベルなし複数音源動画から、オブジェクトレベルの音声分離を学習可能にする。
• 現実的な音声混合における共起音源の相関関係を活用することで一般化性能を向上させること。
• 訓練時に個別に観測されたことがない対象の音声をテスト動画で分離できること。
• 視覚的に類似する対象同士の間で一貫した音声表現を強制する自己教師付き学習目的関数の開発。

提案手法

• 複数音源を含むラベルなし動画ペアを用い、視覚的に類似する対象同士の音声埋め込みが一貫するよう、共同分離目的関数を適用する。
• 各動画内で、音声分離トラックと対応する視覚的対象を一致させるために、動画からのノイズの多いオブジェクト検出結果を弱い教師信号として用いる。
• 同一オブジェクトカテゴリ（例：ギター）の分離音声が、背景や文脈が異なる異なる訓練用動画ペア間でも一貫して識別可能であることを保証する新しい損失関数を採用。
• フレームワークは、動画内分離（1つの動画内で各対象の音声を特定）と動画間一貫性（複数動画間で類似対象を一致）の両方を同時に最適化する。
• 分離スペクトログラムから音声埋め込みを抽出するために、ResNet-18ベースの音声分類器を用いた深層ニューラルネットワークを活用し、可視化や下流タスクに利用。
• トップの検出視覚的対象を用いて、環境ノイズの分離をガイドすることで、明示的なノイズモデルなしに視覚的誘導型音声ノイズ除去を実現。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き手法は、個別に録音されたクリアなクリップが不要な状態で、自然に発生する複数音源動画からオブジェクトレベルの音声分離を学習できるか？
• RQ2 視覚的に類似する対象間で音声埋め込みの一貫性を強制することで、標準的なミックス＆分離学習に比べて分離性能がどのように向上するか？
• RQ3 訓練時に単独で観測されたことがない対象の音声分離に、モデルはどの程度一般化できるか？
• RQ4 人工的な混合に比べて、現実的な音声混合および自然な音源相関関係に強い性能向上が、共同分離目的関数によって達成できるか？
• RQ5 学習された音声・視覚的表現は、音声ノイズ除去や視覚的対象発見といった下流タスクに効果的に応用できるか？

主な発見

• 共同分離手法はMUSICデータセットで最先端の性能を達成し、SDR、SIR、SARの指標で先行手法を上回った。
• AudioSetデータセットでは、音声ノイズ除去において、Wooden Horse動画で14.5 dB、Violin Yanniで8.53 dB、Guitar Soloで11.9 dBのSDRを達成し、先行SOTA手法を上回った。
• ゼロショット一般化テストでは、訓練時に単独で観測されたことがない対象の音声を効果的に分離でき、強力な一般化能力を示した。
• t-SNEによる音声埋め込みの可視化では、分離音声がオブジェクトカテゴリごとにクラスタリングされており、モデルが意味的に意味のある音声表現を学習していることを確認した。
• AV-Benchでは視覚的支援音声ノイズ除去において14.5 dBのSDRを達成し、AV-Loc や AV-MIML といった手法を上回ったが、ノイズ構造を明示的にモデル化していないにもかかわらずである。
• 除去実験により、共同分離損失が性能に不可欠であることが確認され、一貫性損失を除去すると顕著な性能低下が生じた。