[論文レビュー] Multimodal Self-Supervised Learning of General Audio Representations

Luyu Wang, Pauline Luc+3 more|arXiv (Cornell University)|Apr 26, 2021

Music and Audio Processing参考文献 40被引用数 20

ひとこと要約

この論文は、ラベルなしで一般音声表現を学習するために、動画、スペクトログラム、および生波形を活用するマルチモーダル自己教師付きフレームワークを提案する。低解像度の動画と例の混合拡張を用いることで、AudioSet で 42.4 mAP の最先端性能を達成し、教師ありモデルとの差を埋め、さまざまな音声タスクにおいて先行する非教師あり手法を上回った。

ABSTRACT

We present a multimodal framework to learn general audio representations from videos. Existing contrastive audio representation learning methods mainly focus on using the audio modality alone during training. In this work, we show that additional information contained in video can be utilized to greatly improve the learned features. First, we demonstrate that our contrastive framework does not require high resolution images to learn good audio features. This allows us to scale up the training batch size, while keeping the computational load incurred by the additional video modality to a reasonable level. Second, we use augmentations that mix together different samples. We show that this is effective to make the proxy task harder, which leads to substantial performance improvements when increasing the batch size. As a result, our audio model achieves a state-of-the-art of 42.4 mAP on the AudioSet classification downstream task, closing the gap between supervised and self-supervised methods trained on the same dataset. Moreover, we show that our method is advantageous on a broad range of non-semantic audio tasks, including speaker identification, keyword spotting, language identification, and music instrument classification.

研究の動機と目的

• 高解像度の動画を必要とせずに、動画からの視覚的信号を統合することで自己教師付き音声表現学習を改善すること。
• 音声、スペクトログラム、動画入力の間で例の混合（mixup）を適用することで、対照学習における特徴品質が向上するかどうかを調査すること。
• AudioSet 以外の多様な下流タスクにまで学習された音声特徴の一般化能力を評価すること。
• 標準ベンチマーク上で自己教師付きと教師あり音声モデルの性能差を縮めること。

提案手法

• 同期された動画クリップ上で学習する、3つのエンコーダー（動画用（V）、スペクトログラム用（S）、生波形用（W））を備えた対照学習フレームワークを採用する。
• モダリティ固有の拡張を適用：動画には空間的クロッピングと色のジャマリング、スペクトログラムには周波数シフト、波形にはフォーマット固有の拡張を施さない。
• すべてのモダリティにわたる例の混合（mixup）を導入し、2つのバッチサンプルの重み付き平均として混合入力を構築することで、事前学習タスクの難易度を高める。
• ペairワイズの対照的損失を採用し、同じサンプルの増幅ビュー（ポジティブペア）を埋め込み空間で近づけ、ネガティブペアを遠ざける。
• 先行研究のマルチフォーマット設定を活用し、スペクトログラムと波形ネットワークが相互に監視することで、頑健性と一般化性能を向上させる。
• 低解像度のフレームでさえも、計算コストを抑えつつ性能を維持できるように、音声エンコーダーを動画を教師信号として端末から端末までエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 低解像度の動画は、自己教師付き音声表現学習の改善に十分な教師信号を提供できるか？
• RQ2 音声、スペクトログラム、動画モダリティ入力の間で例の混合を適用することで、学習された音声特徴の品質が向上するか？
• RQ3 動画データで学習した自己教師付き音声モデルは、話者同定やキーワード検出のような非意味的音声タスクにどの程度一般化できるか？
• RQ4 AudioSet やその他のベンチマークにおいて、自己教師付き音声モデルは教師ありベースラインにどの程度近づけるか？

主な発見

• 提案手法は、AudioSet 分類ベンチマークで 42.4 mAP の新しい最先端性能を達成し、教師ありモデル（43.1 mAP）の性能に近づいた。
• 波形ベースのモデルは 40.5 mAP を達成し、同じベンチマークで以前の教師あり最先端（36.5 mAP）を上回った。
• 下流タスクでは、COLA [14] より平均正答率が 5.5 パcent 上昇し、話者同定（VoxCeleb で 38.2% 対 29.9%）およびキーワード検出（Speech Commands v2 で 82.2%）において顕著な向上を示した。
• 言語同定（79.0% 対 71.3%）、楽器分類（68.3% 対 63.4%）、音響シーン分類（90.4% 対 94.0%）といった多様なタスクにおいても、良好な一般化性能を示した。
• 低解像度の動画を用いることで性能が劣化せず、より大きなバッチサイズを可能にし、計算コストを削減しながらも強力な特徴品質を維持した。
• 例の混合は、特にバッチサイズが大きくなると性能向上に顕著に寄与し、対照的事前学習タスクの難易度を高め、より頑健な特徴を学習可能にした。