[論文レビュー] Dual Mean-Teacher: An Unbiased Semi-Supervised Framework for Audio-Visual Source Localization

Yuxin Guo, Shijie Ma+6 more|arXiv (Cornell University)|Mar 5, 2024

Speech and Audio Processing被引用数 6

ひとこと要約

本論文は Dual Mean-Teacher (DMT) を提案します。これは noise をフィルタリングし高品質な疑似ラベルを生成するための、2つの教師-生徒ペアを備えた半教師ありAVSLフレームワークで、限られた注釈で最先端の局在化を達成します。

ABSTRACT

Audio-Visual Source Localization (AVSL) aims to locate sounding objects within video frames given the paired audio clips. Existing methods predominantly rely on self-supervised contrastive learning of audio-visual correspondence. Without any bounding-box annotations, they struggle to achieve precise localization, especially for small objects, and suffer from blurry boundaries and false positives. Moreover, the naive semi-supervised method is poor in fully leveraging the information of abundant unlabeled data. In this paper, we propose a novel semi-supervised learning framework for AVSL, namely Dual Mean-Teacher (DMT), comprising two teacher-student structures to circumvent the confirmation bias issue. Specifically, two teachers, pre-trained on limited labeled data, are employed to filter out noisy samples via the consensus between their predictions, and then generate high-quality pseudo-labels by intersecting their confidence maps. The sufficient utilization of both labeled and unlabeled data and the proposed unbiased framework enable DMT to outperform current state-of-the-art methods by a large margin, with CIoU of 90.4% and 48.8% on Flickr-SoundNet and VGG-Sound Source, obtaining 8.9%, 9.6% and 4.6%, 6.4% improvements over self- and semi-supervised methods respectively, given only 3% positional-annotations. We also extend our framework to some existing AVSL methods and consistently boost their performance.

研究の動機と目的

• 限られた境界ボックス注釈の下で正確なAVSLを動機づけ、偽陽性とぼやけた境界を解決する。
• ラベルなしデータを疑似ラベル付けSSLフレームワークを通じて効果的に活用し、データ利用を最大化する。
• デュアル教師と合意ベースのサンプルフィルタリングを用いてSSLにおける確証バイアスを克服する。
• デュアル教師のウォームアップ事前学習が局在化性能と安定性を高めることを示す。
• DMT を統合することで既存の AVSL 手法の拡張性を示す。

提案手法

• ラベル付きデータでのウォームアップから初期化された、2本の独立した教師-生徒パイプラインを用いる。
• デュアル教師間の合意に基づくノイズフィルタリングモジュールを用いてノイズの多いサンプルを除去する。
• 2つの教師の確率マップを交差させることで高品質な疑似ラベルを生成する（IPL）。
• IPL由来の疑似ラベルと生徒の出力の整合性正則化を含む、ラベル付きデータとIPL-derived 疑似ラベルの混合で生徒を訓練する。
• 学習中に音の出力領域に焦点を当てるよう、予測領域に対するアテンションを組み込む。
• 学習を安定させるため、対応する生徒の指数移動平均（EMA）を用いて教師を更新する。

実験結果

リサーチクエスチョン

• RQ1 希少な注釈の下でデュアル教師の半教師付き設定は確証バイアスを減少させ、AVSLの局在化を改善できるか？
• RQ2 ノイズフィルタリングとIPLが疑似ラベルの品質を改善し、密なAVSLの性能を向上させるのに十分か？
• RQ3 デュアル教師のウォームアップ事前学習は最終的な局在化精度とデータセット間の一般化にどう影響するか？
• RQ4 DMT は自身のアーキテクチャを超えて既存のAVSL手法の改善に拡張できるか？

主な発見

• DMT は Flickr-SoundNet および VGG-Sound Source において <3% の位置注釈で最先端の局在化を達成。
• 限られたラベル下で、DMT は報告済みベンチマーク上で prior methods に対して最大約10ポイント程度の CIoU 増加を達成。
• アブレーション研究は、ノイズフィルタリング、IPL、および EMA が総じて性能の向上と確証バイアスの抑制に寄与することを示す。
• DMT は小物体の局在化を改善し、偽陽性を削減し、音楽関連データを含むクロスドメイン一般化の強さを示す。
• 既存の AVSL 手法へ DMT を拡張することは、その CIoU および AUC 指標を一貫して向上させる。