[論文レビュー] Learning to Separate Object Sounds by Watching Unlabeled Video

Ruohan Gao, Rogério Feris+1 more|arXiv (Cornell University)|Apr 5, 2018

Speech and Audio Processing被引用数 28

ひとこと要約

本論文では、大規模なラベルなし動画から視覚的文脈を活用した深層マルチインスタンスマルチラベル学習フレームワークを用いて、オブジェクト固有の音声表現を教師なしで学習する手法を提案する。視覚的オブジェクト検出と非負値行列分解（NMF）を用いて混合音声をオブジェクトレベルの音声に分離し、実世界の動画における視覚的支援付き音声源分離およびノイズ除去において最先端の性能を達成した。

ABSTRACT

Perceiving a scene most fully requires all the senses. Yet modeling how objects look and sound is challenging: most natural scenes and events contain multiple objects, and the audio track mixes all the sound sources together. We propose to learn audio-visual object models from unlabeled video, then exploit the visual context to perform audio source separation in novel videos. Our approach relies on a deep multi-instance multi-label learning framework to disentangle the audio frequency bases that map to individual visual objects, even without observing/hearing those objects in isolation. We show how the recovered disentangled bases can be used to guide audio source separation to obtain better-separated, object-level sounds. Our work is the first to learn audio source separation from large-scale "in the wild" videos containing multiple audio sources per video. We obtain state-of-the-art results on visually-aided audio source separation and audio denoising. Our video results: http://vision.cs.utexas.edu/projects/separating_object_sounds/

研究の動機と目的

• 音声源が混合された大規模なラベルなし動画からオブジェクトレベルの音声表現を学習すること。
• ラベルなしの訓練例が存在する実世界の動画において、複数の重複する音声源を分離する課題に対処すること。
• 画像認識から得られる視覚的文脈を活用して、音声基底の分離を弱い教師信号として用いること。
• マルチマイク環境や事前ラベル付き音声データを必要とせずに、新しい制約のない動画において視覚的支援付き音声源分離を可能にすること。

提案手法

• 各動画フレームにおける視覚的オブジェクト検出に最先端のCNNを用い、音声と視覚の整合性を弱い教師信号として提供する。
• 各動画の音声に対して非負値行列分解（NMF）を適用し、潜在的な音声成分を表す周波数基底ベクトルを抽出する。
• 音声基底と検出された視覚的オブジェクトの関連性を予測するため、深層マルチインスタンスマルチラベル（MIML）ニューラルネットワークを訓練する。
• 動画全体にわたる視覚的オブジェクト分布に沿って音声基底をマッピングし、各オブジェクトごとの代表的なスペクトルパターンを学習する。
• 学習済みのオブジェクト固有の音声基底を事前知識として用い、新しい動画におけるNMFベースの音声源分離をガイドする。
• 分離された音声基底をソース分離フレームワークに組み込み、混合音声から個々のオブジェクト音声を再構成する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなし動画における画像認識からの視覚的文脈を用いて、音声の教師なしでオブジェクト固有の成分に分離できるか？
• RQ2 視覚的ヒントと自己教師学習のみを用いて、『野生の』動画における新しいオブジェクト音声をどれだけうまく分離できるか？
• RQ3 マルチインスタンスマルチラベル学習フレームワークは、多様で現実世界の動画データにおいて意味のある音声視覚連関をどれだけ学習できるか？
• RQ4 学習された音声視覚的事前知識は、教師ありベースラインを上回る性能を音声源分離およびノイズ除去で達成できるか？
• RQ5 視覚的誤検出や画面上にない音源に対して、この手法はどれほど頑健か？

主な発見

• 本手法は、視覚的支援付き音声源分離において最先端の性能を達成し、ベンチマーク動画において先行手法を上回った。
• ノイズ除去タスクでは平均NSDRが10.5 dBに達し、Sparse CCA（5.12 dB）やJIVE（3.87 dB）といった先行手法を上回った。
• モデルは視界外のオブジェクト（例：背景で演奏されるピアノ）の音声を正しく特定し、分離できた。
• 定性的な結果から、視覚的検出が不正確であっても、MIMLネットワークが音声基底と正しいオブジェクトカテゴリを適切に関連づけることがわかった。
• 楽器、動物、車両など多様なオブジェクトカテゴリおよび実世界の動画コンテンツに一般化可能であることが示された。
• 視覚的誤検出や視覚的でない音源に対しても本手法は頑健であり、大規模データから音声視覚的事前知識を効果的に学習できていることが示された。