[論文レビュー] Visually Guided Sound Source Separation and Localization using Self-Supervised Motion Representations

Lingyu Zhu, Esa Rahtu|arXiv (Cornell University)|Apr 17, 2021

Speech and Audio Processing被引用数 7

ひとこと要約

本稿では、外見と運動の特徴を独立して活用する自己教師あり2段階の音声視覚モデルAMnetを提案する。音声-運動埋め込み（AME）フレームワークと音声-運動トランスフォーマー（AMT）を導入することで、事前学習済みキーポイント検出器や人間の運動に関する事前知識に依存せずに、MUSIC-21およびAVEで最先端の性能を達成する。

ABSTRACT

The objective of this paper is to perform audio-visual sound source separation, i.e.~to separate component audios from a mixture based on the videos of sound sources. Moreover, we aim to pinpoint the source location in the input video sequence. Recent works have shown impressive audio-visual separation results when using prior knowledge of the source type (e.g. human playing instrument) and pre-trained motion detectors (e.g. keypoints or optical flows). However, at the same time, the models are limited to a certain application domain. In this paper, we address these limitations and make the following contributions: i) we propose a two-stage architecture, called Appearance and Motion network (AMnet), where the stages specialise to appearance and motion cues, respectively. The entire system is trained in a self-supervised manner; ii) we introduce an Audio-Motion Embedding (AME) framework to explicitly represent the motions that related to sound; iii) we propose an audio-motion transformer architecture for audio and motion feature fusion; iv) we demonstrate state-of-the-art performance on two challenging datasets (MUSIC-21 and AVE) despite the fact that we do not use any pre-trained keypoint detectors or optical flow estimators. Project page: https://ly-zhu.github.io/self-supervised-motion-representations

研究の動機と目的

• 事前学習済みキーポイント検出器や人間による運動を仮定する必要がある既存の音声視覚的分離モデルの限界を解消すること。
• 音源生成に関連する運動表現を学習する自己教師あり手法を構築し、音源タイプに一般化可能な能力を実現すること。
• 共通の埋め込み空間を介して音声と運動の相関関係を明示的にモデル化することで、音源分離および局在化の性能を向上させること。
• 光流または事前学習済みの運動検出器を一切使用せずに、挑戦的なベンチマーク（MUSIC-21およびAVE）で最先端の性能を示すこと。

提案手法

• 外見と運動の特徴処理に特化した2段階アーキテクチャであるAMnetを提案し、専門化と特徴学習の向上を実現する。
• 音声と運動を共通の埋め込み空間に一致させることで、自己教師ありの方法で運動表現を学ぶための音声-運動埋め込み（AME）フレームワークを導入する。
• 文脈に配慮したアテンションベースの特徴統合を可能にするために、音声-運動トランスフォーマー（AMT）モジュールを設計する。
• 事前学習済みモデルに依存せずに、音声視覚的対照学習を用いてエンドツーエンドでシステムを訓練する。
• 入力として動画のキーフレームとスペクトログラムを用い、外見特徴を周波数成分の重み付けに使用し、分離用のバイナリマスクを生成する。
• 学習された運動表現を分離に加え、動画フレーム内での音源の局在化にも応用する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みキーポイント検出器や光流推定器に依存せずに、自己教師ありの運動表現を効果的に学習できるか？
• RQ2 外見と運動の処理を分離する2段階アーキテクチャは、統合処理と比較して音声視覚的分離性能を向上させるか？
• RQ3 音声-運動埋め込み学習は、光流や動的画像に基づく運動表現よりも、音源分離および局在化の性能を向上させるか？
• RQ4 外見と運動の特徴は、分離性能にそれぞれどのように寄与するか？また、それらを効果的に統合できるか？
• RQ5 人間による運動に限定されず、楽器や非人間の運動を示す物体のような音源に対しても、モデルは一般化可能か？

主な発見

• AMnetはMUSIC-21データセットで最先端の性能を達成し、SDRが11.08 dBに達し、キーポイントベースのSoMやCOFをすべて上回った。
• AVEデータセットでは、SDRが10.35 dBに達し、以前の最先端手法（SoM）を1.21 dB上回った。
• 提案された音声-運動トランスフォーマー（AMT）を早期統合に代えて使用した場合、SDRが1.11 dB向上した。これは、アテンションベースの統合の有効性を示している。
• アブレーションスタディの結果、2段階の構成で外見と運動の特徴を統合した場合、単一段階で外見または運動のみを用いた場合に比べ、SDRが1.59 dB向上した。
• 同じ楽器（例：バイオリン2本）を分離する困難な状況下でも、AMnetはバイオリンのSDRが2.47 dBに達し、コピー・ペーストベースラインおよび他のすべての手法を上回った。
• 音声-運動埋め込み（AME）フレームワークにより、図1に示すように、運動の特徴が動画内で活動中の音源を特定するのに寄与し、正確な音源局在化が可能になった。