[論文レビュー] Self-Supervised Learning from Contrastive Mixtures for Personalized Speech Enhancement

Aswin Sivaraman, Minje Kim|arXiv (Cornell University)|Nov 6, 2020

Speech and Audio Processing参考文献 27被引用数 8

ひとこと要約

本論文は、ノイズの多い音声データを偽のターゲットとして使用し、個人に特化した特徴を学習する対照的自己教師あり学習手法を提案する。3秒間のクリアな音声と元のモデルパラメータの15%のみで、少データ設定において、スプーキングに特化した手法や非対照的自己教師あり学習のベースラインを上回り、最先端の性能を達成する。

ABSTRACT

This work explores how self-supervised learning can be universally used to discover speaker-specific features towards enabling personalized speech enhancement models. We specifically address the few-shot learning scenario where access to cleaning recordings of a test-time speaker is limited to a few seconds, but noisy recordings of the speaker are abundant. We develop a simple contrastive learning procedure which treats the abundant noisy data as makeshift training targets through pairwise noise injection: the model is pretrained to maximize agreement between pairs of differently deformed identical utterances and to minimize agreement between pairs of similarly deformed nonidentical utterances. Our experiments compare the proposed pretraining approach with two baseline alternatives: speaker-agnostic fully-supervised pretraining, and speaker-specific self-supervised pretraining without contrastive loss terms. Of all three approaches, the proposed method using contrastive mixtures is found to be most robust to model compression (using 85% fewer parameters) and reduced clean speech (requiring only 3 seconds).

研究の動機と目的

• 対象となる話者のために利用可能なクリアな音声が数秒しか入手できないような低データ環境において、パーソナライズド音声強調を可能にすること。
• 豊富なノイズの多い音声データを偽教師信号として活用することで、少数のデータでの学習における制限を克服し、話者に特化した音声強調の性能を向上させること。
• ノイズの多いデータに対する対照的学習目的を導入することで、モデル圧縮と限られたクリアなデータの下でも、モデルの頑健性を向上させること。
• 対照的学習を混合ノイズ音声に適用することで、明示的なクリアな教師信号なしに、話者に特化した表現を効果的に発見できるかどうかを検討すること。

提案手法

• 本手法は、正例ペアが同一発話の異なるノイズによる変形であり、負例ペアが異なる話者の同じような変形音声である対照的学習フレームワークを用いる。
• 対照的損失関数を用いて、正例ペア間の類似度を最大化し、負例ペア間の類似度を最小化するようにモデルを事前学習する。
• 事前学習段階では、クリアなリファレンス録音が不要であり、ノイズの多い音声データのみを用いて学習を実行する。
• 同じ話者の音声に適用された異なるノイズパターンを対比させることで、話者に特化した表現を学習する。
• モデル圧縮や低リソース環境に強く、微調整にはわずか3秒間のクリアなデータしか必要としないように設計されている。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多い音声データが、自己教師あり学習において話者に特化した特徴を学習するための効果的な偽ターゲットとして使用可能かどうか。
• RQ2 少数のデータ設定における音声強調において、ノイズ混合物に対する対照的学習は、話者に特化しない手法や非対照的自己教師あり学習の事前学習と比べてどのように優れているか。
• RQ3 提案手法がモデル圧縮と限られたクリアなデータの下でも、どの程度の性能を維持できるか。
• RQ4 対照的目的がパーソナライズド音声強調における一般化性能と頑健性を向上させるかどうか。

主な発見

• 提案された対照的ミックスチャネル手法は、話者に特化しない完全教師あり事前学習や、対照的損失なしの話者に特化した自己教師あり事前学習よりも、モデル圧縮に対する頑健性が優れている。
• わずか3秒間のクリアな音声での学習でも優れた性能を達成しており、強力な少データ一般化能力を示している。
• 元のパラメータ数の15%にまで削減されても、高い性能を維持しているため、圧縮に対する強い頑健性を示している。
• 対照的目的により、話者に特化した表現とノイズ入力パターンとの間の整合性が顕著に向上し、パーソナライズド性能が向上している。