[論文レビュー] Multi-Format Contrastive Learning of Audio Representations

Luyu Wang, Aäron van den Oord|arXiv (Cornell University)|Mar 11, 2021

Music and Audio Processing参考文献 35被引用数 30

ひとこと要約

本論文は、音声データの異なる形式（生波形と log-melスペクトログラム）間で対比学習を行うと表現学習が強化され、マルチモーダルデータを用いなくても AudioSet および ESC-50 で新しい最先端を達成できることを示している。

ABSTRACT

Recent advances suggest the advantage of multi-modal training in comparison with single-modal methods. In contrast to this view, in our work we find that similar gain can be obtained from training with different formats of a single modality. In particular, we investigate the use of the contrastive learning framework to learn audio representations by maximizing the agreement between the raw audio and its spectral representation. We find a significant gain using this multi-format strategy against the single-format counterparts. Moreover, on the downstream AudioSet and ESC-50 classification task, our audio-only approach achieves new state-of-the-art results with a mean average precision of 0.376 and an accuracy of 90.5%, respectively.

研究の動機と目的

• 1つの音声モダリティの複数形式が、マルチモーダル学習と同等の利得をもたらすかどうかを動機づけ、評価する。
• 生の音声とそのスペクトル表現の一致を最大化する対照学習フレームワークを開発する。
• 自己教師付き音声表現学習のための効果的な音声形式、データ拡張、およびアーキテクチャを特定する。
• AudioSet および ESC-50 における下流タスクの性能を示し、非教師あり音声表現学習の最先端成果を確立する。

提案手法

• 同じ音声の異なる形式（生波形とスペクトル表現）の2つの拡張ビュー間の一致を最大化する SimCLR 風対比目的を用いる。
• 各形式に適したエンコーダを用い（例：ConvベースやCNN/ResNet風アーキテクチャ）、共有の投影ヘッドを持つ。
• 音声とスペクトログラムの軽量な拡張を適用（音声混合、時間マスキング、周波数マスキング、周波数シフト）。
• 対比損失の否定例を多く提供するために大きなバッチサイズで訓練し、InfoNCE損失で温度パラメータを使用する。
• 事前訓練済みエンコーダを固定し、下流タスクで浅い分類器を訓練して評価する（AudioSet mAP、ESC-50 精度）。
• クロスフォーマットの一致の利点を分析するため、単一形式および二形式設定を実験する。

実験結果

リサーチクエスチョン

• RQ1 生音声とスペクトル表現の一致を最大化して表現を学習することは、単一形式または単一モダリティのベースラインを上回るか？
• RQ2 どの音声形式と拡張の組み合わせが最も良い下流性能をもたらすか？
• RQ3 モデルアーキテクチャ、バッチサイズ、温度、投影サイズが音声の対照学習にどう影響するか？
• RQ4 ラベルなしの二形式自己教師付き学習を用いた場合の AudioSet および ESC-50 の下流での利得はどれくらいか？

主な発見

• デュアル形式（生波形と log-melスペクトログラム）による訓練は、単一形式のベースラインよりも顕著な利得をもたらす。
• 生音声と log-melスペクトログラムの組み合わせは、AudioSet で生の音声のみより約15%、log-melのみより約41%ベースモデルの mAP を向上させる。
• 最良の単一モデルの結果は mAP 0.336（波形）と 0.329（log-mel）、デュアル形式で訓練すると 0.368（log-mel を評価）と 0.355（波形評価）を達成し、両形式の特徴を結合すると 0.376 に達する。
• ESC-50 下流精度はデュアル形式訓練で 90.5% に達し、新しい最先端を確立。
• 長い時間的クロップ（10s）は AudioSet のマルチインスタンス性のため性能が劣る; 3–5s のクロップが推奨される。
• バッチサイズと投影潜在サイズを増やすと一般に性能が向上する。大きなモデルはデュアル形式設定の恩恵をより受けやすい。