[論文レビュー] Unsupervised Sound Localization via Iterative Contrastive Learning

Yan-Bo Lin, Hung-Yu Tseng+3 more|arXiv (Cornell University)|Apr 1, 2021

Speech and Audio Processing参考文献 46被引用数 4

ひとこと要約

本稿では、繰り返し対照学習を用いた教師なし音源局在フレームワークを提案する。この手法は、トレーニングエポック間における予測された発音／非発音領域の擬似ラベルと、フレーム間の音声関係を活用することで、アノテーションなしで局在性能を向上させる。本手法は、自己教師信号のみを用いて、Flickr-SoundおよびMUSIC-Syntheticデータセットで最先端の性能を達成した。

ABSTRACT

Sound localization aims to find the source of the audio signal in the visual scene. However, it is labor-intensive to annotate the correlations between the signals sampled from the audio and visual modalities, thus making it difficult to supervise the learning of a machine for this task. In this work, we propose an iterative contrastive learning framework that requires no data annotations. At each iteration, the proposed method takes the 1) localization results in images predicted in the previous iteration, and 2) semantic relationships inferred from the audio signals as the pseudo-labels. We then use the pseudo-labels to learn the correlation between the visual and audio signals sampled from the same video (intra-frame sampling) as well as the association between those extracted across videos (inter-frame relation). Our iterative strategy gradually encourages the localization of the sounding objects and reduces the correlation between the non-sounding regions and the reference audio. Quantitative and qualitative experimental results demonstrate that the proposed framework performs favorably against existing unsupervised and weakly-supervised methods on the sound localization task.

研究の動機と目的

• 音源局在における限られたアノテーションデータの課題に対処する。これは、音声と視覚信号の手動によるペアリングが人的に負担が大きい。
• 事前に定義されたクラスターや単一音源の仮定、イベントレベルのラベルに依存する既存の弱教師ありおよび自己教師あり手法の限界を克服する。
• いかなる真のバウンディングボックスやイベントアノテーションも不要な完全な教師なしフレームワークを構築し、音声と視覚の対応を学習する。
• フレーム内（動画内）およびフレーム間（複数動画間）の音声と視覚信号の関係を統合的にモデル化することで、局在精度を向上させる。

提案手法

• 前エポックの局在結果を、現在のエポックにおける発音領域および非発音領域の擬似ラベルとして用い、対照学習をガイドする。
• フレーム内サンプリングを適用し、同じ動画フレーム内での予測発音領域をポジティブペア、非発音領域をネガティブペアとして扱う。
• フレーム間関係を導入し、異なる動画間の音声埋め込みを比較する。意味的に類似した音声クリップはポジティブペアとみなす。
• 音声類似度に基づき、同じ動画内および複数動画間で音声特徴と視覚特徴の整合性を促進する対照損失関数を活用する。
• エポックを繰り返し、擬似ラベルと表現学習を更新することで、真の発音オブジェクトに徐々に注目を向けるようにモデルを改善する。
• クラスアクティベーションマップから信頼性の高い擬似ラベルを生成するため、特徴正規化としきい値処理を施したバックボーンネットワーク（例：MSSLベース）を用いる。

実験結果

リサーチクエスチョン

• RQ1 人為的アノテーションデータや音源数に関する事前仮定なしに、教師なし音源局在を効果的に達成できるか？
• RQ2 前エポックの擬似ラベルを用いた繰り返しの最適化は、単一段階の対照学習と比較して、局在精度をどのように向上させるか？
• RQ3 意味的類似度に基づくフレーム間音声関係は、音声視覚表現学習における複数動画間アライメントをどの程度向上させるか？
• RQ4 発音領域と非発音領域を同時にモデル化することで、誤検出および背景ノイズの抑制能力が向上するか？

主な発見

• 提案された繰り返し対照学習フレームワークは、アノテーションなしでFlickr-SoundおよびMUSIC-Syntheticデータセットで最先端の性能を達成した。
• 除去実験により、繰り返し学習、非発音領域の擬似ラベルの使用、フレーム間関係の導入という各要素が、局在性能の向上に顕著に寄与することが確認された。
• 図6に示すように、トレーニングエポックを経るごとに局在結果が真の発音領域に徐々に集中するようになり、繰り返し最適化の有効性が裏付けられた。
• 音声ベースの検索結果（図7）から、異なる動画間で意味的に類似した音声クリップが視覚的に類似したシーンと正しく関連付けられていることが確認され、フレーム間音声関係の有効性が裏付けられた。
• ベンチマークデータセットにおけるコンSENSUS IoUおよびAUC指標において、既存の弱教師ありおよび教師なしベースラインを上回る性能を示した。
• MSSL手法の第二段階を、提案された教師なし学習に置き換えることで、イベントレベルのラベルがなくても顕著な性能向上が得られた。