[論文レビュー] Data Augmenting Contrastive Learning of Speech Representations in the Time Domain

Eugene Kharitonov, Morgane Rivière+5 more|arXiv (Cornell University)|Jul 2, 2020

Speech Recognition and Synthesis参考文献 50被引用数 92

ひとこと要約

本論文はWavAugmentを紹介する。CPCベースの音声表現学習のための時系列データ拡張ライブラリで、過去のみの拡張と独立した過去/未来拡張が性能を大幅に向上させることを示し、Libri-lightで相対利得18-22%、データが大きいZero Speechで競争力のある結果を達成している。さらに低資源の音素分類での利得も示している。

ABSTRACT

Contrastive Predictive Coding (CPC), based on predicting future segments of speech based on past segments is emerging as a powerful algorithm for representation learning of speech signal. However, it still under-performs other methods on unsupervised evaluation benchmarks. Here, we introduce WavAugment, a time-domain data augmentation library and find that applying augmentation in the past is generally more efficient and yields better performances than other methods. We find that a combination of pitch modification, additive noise and reverberation substantially increase the performance of CPC (relative improvement of 18-22%), beating the reference Libri-light results with 600 times less data. Using an out-of-domain dataset, time-domain data augmentation can push CPC to be on par with the state of the art on the Zero Speech Benchmark 2017. We also show that time-domain data augmentation consistently improves downstream limited-supervision phoneme classification tasks by a factor of 12-15% relative.

研究の動機と目的

• CPCベースの音声表現学習における時系列データ拡張の影響を調査する。
• どの拡張戦略（過去のみ vs. 過去+未来）が最も改善をもたらすかを評価する。
• 発見をフランス語および中国語のZero Speechベンチマーク、およびリミテッドスーパービジョン音素分類へ拡張する。

提案手法

• エンコーダ、コンテキストネットワーク、およびマルチヘッド予測器を備えたCPC2アーキテクチャを用いて、将来の音声セグメントの予測表現を学習する。
• libsoxを基盤とした時系列データ拡張ライブラリであるWavAugmentを導入し、データ読み込み時にオンザフライな拡張を実現する。
• 過去および/または未来のセグメントに適用される、ピッチ、加算ノイズ、リバーブ、バンド拒否、tdropなどを含む拡張をCPCトレーニングで実験する。
• 同一話者内/異話者間設定での教師なし表現学習の評価指標としてLibri-light ABXを用いて性能を評価する。
• インドメイン内およびドメイン外の学習データを用い、English, French, Mandarin ZeroSpeech 2017ベンチマークへ実験を拡張する。
• CPC特徴上で、限られたLibri-lightのラベル付きデータを用いてファインチューニングすることにより半教師ありの改善を評価する。

実験結果

リサーチクエスチョン

• RQ1 時系列データ拡張はCPCベースの音声表現学習にどのような影響を与えるか？
• RQ2 どの拡張戦略（過去のみ vs. 過去+未来）が無監督および半監督の音声タスクを最も改善するか？
• RQ3 時系列拡張は言語間（英語、フランス語、 Mandarin）で一般化でき、限られた監視タスクをサポートできるか？

主な発見

• データ拡張はLibri-lightで非拡張CPC特徴に対して相対的に18-22%の改善をもたらす。
• ピッチと加算ノイズは英語、Mandarin、フランス語のCPCで最も効果的な拡張である。
• ほとんどの拡張で過去のみの拡張または独立した過去/未来拡張が他の選択肢より上回る。bandrejは害となり除外した。
• Libri-lightでCPC2+WavAugはクリーン条件とその他条件の両方で、同一話者内および話者間ABXテストでCPC2を上回る。
• ドメイン外の学習データでは、ZeroSpeech 2017のいくつかの設定でCPC2+WavAugは最先端のベースラインに到達または上回るが、データ効率は大きな訓練データセットでのみ向上する。
• データ拡張は半教師あり音素分類で12-15%の相対的な利得を可能にし、はるかに小さなラベル付きデータ予算で大規模な事前学習ベースラインを打ち負かすことができる。
• 時系列拡張（ピッチとノイズ）は、CPCトレーニングにおいて一般的なスペクトル領域の拡張（例：SpecAugment）を上回ることがある。