[論文レビュー] CLAR: Contrastive Learning of Auditory Representations

Haider Al-Tahan, Yalda Mohsenzadeh|arXiv (Cornell University)|Oct 19, 2020

Music and Audio Processing参考文献 38被引用数 15

ひとこと要約

CLARは、データ拡張、周波数時間特徴、および共同教師付き対照学習を組み合わせた音声表現の対照的自己教師付き学習フレームワークを提案する。Speech Commands-10で96.1%のトップ1精度を達成し、教師あり学習より1%、SimCLRより11.3%優れている。ラベル付きデータが限られた状況でも収束が早く、一般化性能に優れる。

ABSTRACT

Learning rich visual representations using contrastive self-supervised learning has been extremely successful. However, it is still a major question whether we could use a similar approach to learn superior auditory representations. In this paper, we expand on prior work (SimCLR) to learn better auditory representations. We (1) introduce various data augmentations suitable for auditory data and evaluate their impact on predictive performance, (2) show that training with time-frequency audio features substantially improves the quality of the learned representations compared to raw signals, and (3) demonstrate that training with both supervised and contrastive losses simultaneously improves the learned representations compared to self-supervised pre-training followed by supervised fine-tuning. We illustrate that by combining all these methods and with substantially less labeled data, our framework (CLAR) achieves significant improvement on prediction performance compared to supervised approach. Moreover, compared to self-supervised approach, our framework converges faster with significantly better representations.

研究の動機と目的

• 視覚分野で成功した対照的自己教師付き学習が、高品質な聴覚表現を学習するために効果的に適応可能かどうかを調査すること。
• 対照的学習における音声固有のデータ拡張の表現品質への影響を評価すること。
• 対照的学習において、生波形の代わりに周波数時間特徴を使用することで表現が向上するかどうかを特定すること。
• 教師あり損失と対照的損失を共同で最適化することで、表現品質の向上と収束速度の向上が達成されるかを検討すること。
• CLARが教師ありおよび自己教師付きベースラインと比較して、顕著に少ないラベル付きデータで優れた性能を発揮することを示すこと。

提案手法

• NT-Xent損失を用いて、同じ音声サンプルの拡張ビュー間の一致を最大化することで、音声にSimCLRスタイルの対照的学習を適用する。
• 6つの音声固有のデータ拡張（時間シフト、時間マスキング、周波数マスキング、時間伸縮、フェードイン/アウト、ピッチシフト）を導入し、評価する。
• 生波形の代わりに周波数時間特徴（例：メルスペクトログラム）を入力として使用することで、表現品質を向上させる。
• 教師あり損失と対照的損失を同時に最適化するため、交差エントロピー（CE）と正規化温度スケーリング対照的（NT-Xent）損失を共同で最適化する。
• 線形評価ヘッドを備えたResNet18エンコーダーを用い、評価時にはエンコーダーを固定し、ラベル付きデータでのみヘッドのみ微調整する。
• 1000エポックでモデルを訓練し、早期停止を適用し、10エポックごとに性能を評価することで収束速度と最終精度を追跡する。

実験結果

リサーチクエスチョン

• RQ1 対照的学習における聴覚表現の学習に最も効果的な音声データ拡張は何か？
• RQ2 生音声信号の代わりに周波数時間特徴を使用することで、対照的表現の品質が向上するか？
• RQ3 教師あり損失と対照的損失を逐次的プレトレーニングとファインチューニングよりも、共同で最適化することで表現品質と収束速度が向上するか？
• RQ4 1%のラベル付きデータでの低ショット学習設定下でCLARはどのように性能を発揮するか？
• RQ5 CLARは自己教師付き（SimCLR）および教師ありベースラインと比較して、収束が速く、最終的な性能が優れているか？

主な発見

• CLARはSpeech Commands-10データセットで96.1%のトップ1精度を達成し、教師あり学習より1%、SimCLRより11.3%優れている。
• 生波形における最良の拡張法の組み合わせは時間マスキングと時間伸縮であり、周波数時間特徴では時間マスキングと時間伸縮が最高の性能を示した。
• 生波形の代わりに周波数時間特徴を使用することで表現品質が顕著に向上し、最適な拡張法と組み合わせた場合、SC-10で20.5%の精度向上が達成された。
• CLARは自己教師付きのSimCLRベースラインよりも収束が早く、限られたラベル付きデータでも優れた学習速度と表現品質を示した。
• 1%のラベル付きデータでのみ学習した場合、CLARは77.9%のトップ1精度を達成し、自己教師付き手法を上回り、100%ラベル付きデータの状態と比較して性能低下が19%にとどまった。一方、教師あり学習では66%の性能低下を示した。
• 教師あり損失と対照的損失の共同学習により、一般化性能が向上し、収束速度も速くなった。モデルはまずCE損失を最適化し、その後でNT-Xent損失が段階的に改善された。