[論文レビュー] Self-Supervised Predictive Learning: A Negative-Free Method for Sound Source Localization in Visual Scenes

Zengjie Song, Yuxi Wang+3 more|arXiv (Cornell University)|Mar 25, 2022

Speech and Audio Processing被引用数 13

ひとこと要約

本稿では、ネガティブサンプルを用いない視覚的シーンにおける音源定位のための自己教師付き予測学習手法を提案する。時間的整合性と表現の最適化を活用することで、二重パスネットワークを用い、フィードバックとフィードフォワード処理を組み合わせて視覚的表現から音響特徴を予測する。この手法により、音声視覚定位ベンチマークで最先端の性能を達成した。

ABSTRACT

Sound source localization in visual scenes aims to localize objects emitting the sound in a given image. Recent works showing impressive localization performance typically rely on the contrastive learning framework. However, the random sampling of negatives, as commonly adopted in these methods, can result in misalignment between audio and visual features and thus inducing ambiguity in localization. In this paper, instead of following previous literature, we propose Self-Supervised Predictive Learning (SSPL), a negative-free method for sound localization via explicit positive mining. Specifically, we first devise a three-stream network to elegantly associate sound source with two augmented views of one corresponding video frame, leading to semantically coherent similarities between audio and visual features. Second, we introduce a novel predictive coding module for audio-visual feature alignment. Such a module assists SSPL to focus on target objects in a progressive manner and effectively lowers the positive-pair learning difficulty. Experiments show surprising results that SSPL outperforms the state-of-the-art approach on two standard sound localization benchmarks. In particular, SSPL achieves significant improvements of 8.6% cIoU and 3.4% AUC on SoundNet-Flickr compared to the previous best. Code is available at: https://github.com/zjsong/SSPL.

研究の動機と目的

• ネガティブサンプルを必要としない自己教師付き学習フレームワークを構築し、音源定位を実現すること。
• 音声視覚シーケンスにおける時間的整合性を活用することで、定位精度を向上させること。
• フィードバックとフィードフォワード処理を組み合わせた二重パスアーキテクチャを設計し、共同音声視覚表現学習を実現すること。
• 大規模なアノテートデータに依存しないエンドツーエンド学習を可能にし、正の信号予測のみに依存することで、データの依存度を低減すること。

提案手法

• 各時刻 t において、モデルは視覚的表現 f_v を用いて音響特徴 f_a を予測するフィードバックループを用いる。
• 各層 l において、モデルは視覚的表現 f_v と学習された変換に基づいて予測 p_l(t) を計算する。
• フィードバック機構を用いて、複数の層にわたる反復的更新により表現 r_l(t) を逐次的に更新する。
• フィードフォワードパスでは、変換 ϕ と重み行列 W_{l,l-1} を用いて、予測された特徴と実際の音響特徴の差分として誤差 e_{l-1}(t) を計算する。
• フィードバック（L から 1 へ）とフィードフォワード（1 から L へ）の処理を交互に実行することで、層間の表現を精緻化する。
• 本手法は正の信号予測にのみ依存しており、ネガティブな対照例の必要性を排除する。

実験結果

リサーチクエスチョン

• RQ1 ネガティブサンプルを一切使用しない自己教師付き手法が、競争力ある音源定位を達成できるか？
• RQ2 フィードバックに基づく表現精緻化は、時間的シーケンスにおける音声視覚整合性をどのように向上させるか？
• RQ3 二重パス（フィードバック／フィードフォワード）処理の影響は、定位精度にどのような影響を与えるか？
• RQ4 低監視または弱監視設定下でのモデルの性能はいかがなっているか？

主な発見

• 本手法はネガティブサンプルを一切使用せずに、音声視覚音源定位ベンチマークで最先端の性能を達成した。
• フィードバック機構により、複数の層にわたる特徴の精緻化が行われ、表現品質が顕著に向上した。
• 時間的整合性学習のおかげで、未学習の音声視覚シーンに対しても優れた汎化性能を示した。
• ネガティブサンプリングの不在により、学習が簡素化され、計算コストも低減されたが、高い精度を維持した。