[論文レビュー] Test-Time Adaptation Toward Personalized Speech Enhancement: Zero-Shot Learning with Knowledge Distillation

Sunwoo Kim, Minje Kim|arXiv (Cornell University)|May 8, 2021

Speech and Audio Processing被引用数 4

ひとこと要約

本論文は、知識蒸留を用いたゼロショットテスト時適応手法を提案し、個人向け音声強調のためのコンactな学生モデルを、大規模な事前学習済み教師モデルからの擬似ターゲットを用いて微調整することで、テストスピーカーのクリアな音声データを一切必要とせずに、より大きな一般化モデルを上回る性能を達成する。この手法により、プライバシーを守りつつ、顕著な性能向上を伴う効率的なモデル圧縮が実現され、未学習のスピーカーやノイズ環境に対しても高い性能を発揮する。

ABSTRACT

In realistic speech enhancement settings for end-user devices, we often encounter only a few speakers and noise types that tend to reoccur in the specific acoustic environment. We propose a novel personalized speech enhancement method to adapt a compact denoising model to the test-time specificity. Our goal in this test-time adaptation is to utilize no clean speech target of the test speaker, thus fulfilling the requirement for zero-shot learning. To complement the lack of clean utterance, we employ the knowledge distillation framework. Instead of the missing clean utterance target, we distill the more advanced denoising results from an overly large teacher model, and use it as the pseudo target to train the small student model. This zero-shot learning procedure circumvents the process of collecting users' clean speech, a process that users are reluctant to comply due to privacy concerns and technical difficulty of recording clean voice. Experiments on various test-time conditions show that the proposed personalization method achieves significant performance gains compared to larger baseline networks trained from a large speaker- and noise-agnostic datasets. In addition, since the compact personalized models can outperform larger general-purpose models, we claim that the proposed method performs model compression with no loss of denoising performance.

研究の動機と目的

• リソース制限のあるデバイスに効果的な音声強調モデルを、特定のユーザーに特化したパフォーマンスでデプロイする課題に対処すること。
• プライバシー的・実用的懸念からユーザーがクリアな音声サンプルを提供できない状況を避けるために、ゼロショット学習を音声強調に適用すること。
• 知識蒸留を用いて、テスト時の話者や音響環境に特化したコンパクトな学生モデルを、テスト時適応フレームワークによりパーソナライズすること。
• パーソナライズされた適応によって、より大きな一般化モデルの性能を維持または上回るモデル圧縮を達成すること。
• クラウドベースの微調整後、小さな学生モデルのみを転送することで、オンデバイスでの効率的で実用的なデプロイを可能にすること。

提案手法

• 知識蒸留フレームワークを用い、実際のクリアな音声を必要とせず、大規模で事前学習済みの教師モデルの出力を擬似ターゲットとして学生モデルを学習させる。
• 大規模で多様なデータセットで学習された教師モデルは、さまざまなテスト条件に一般化しやすく、高品質なノイズ除去推定を提供する。
• 学生モデルは、テスト時に教師の予測結果を教師信号として用いて微調整され、ラベル付きクリアなデータが不要な状態で、特定の話者とノイズ環境に適応する。
• 教師と学生の間で異種のアーキテクチャを許容するため、モデル設計と圧縮の柔軟性が向上する。
• 計算負荷の高い蒸留プロセスはクラウドにオフロードされ、テスト時の推論にはコンパクトな学生モデルのみを用いるため、オンデバイス推論が可能になる。
• パーソナライゼーションはテスト時適応により達成され、再訓練を必要とせず、テスト時の文脈に特化した最適化が行われる。

Figure 1: An overview of the proposed KD-based PSE process. The estimated clean speech by the student model is compared against the result from a larger teacher model, whose discrepancy is used to fine-tune the student model. This can be done during the test time as it does not require the clean spe

実験結果

リサーチクエスチョン

• RQ1 クリアな音声データが入手不可な状況下でも、コンパクトな学生モデルがテスト時に特定の話者とノイズ環境に効果的にパーソナライズ可能か？
• RQ2 大規模な一般化教師モデルからの知識蒸留により、同サイズまたはそれ以上の一般化モデルと比較して優れた性能が達成可能か？
• RQ3 本手法のゼロショットアプローチにより、学生モデルが教師モデルより小さい場合でも、性能損失なしにモデル圧縮が可能か？
• RQ4 異なるアーキテクチャと能力を持つ教師モデルを用いて微調整した場合、学生モデルの性能はどのように変化するか？
• RQ5 本フレームワークは、学習データにあまり含まれない話者グループの性能向上にも応用可能か？

主な発見

• すべてのテスト条件下で、パーソナライズされた学生モデルがより大きな一般化モデルを上回る性能を示し、2×32 CTN学生モデルは-5 dB混合SNR条件下で2×1024一般化モデルを上回る性能を達成した。
• CTN教師で訓練されたパーソナライズ学生モデルは、GRU教師で訓練されたモデルを上回り、教師の品質が学生モデルの性能に直接影響することが示された。
• 2×32パーソナライズモデルは、2×1024一般化モデルと比較して1147万パラメータと7億1900万MACを削減し、効果的なモデル圧縮が確認された。
• 一部のケースでは、教師モデルがわずかに大きい場合でも、テスト時の文脈に特化した適応により、学生モデルが教師モデルを上回る性能を示した。
• ユーザーが提供するクリアな音声が一切不要なため、プライバシーを守るパーソナライゼーションが実現され、実世界のデプロイにおける主要な懸念を解決した。
• フレームワークは柔軟であり、異なるモデルアーキテクチャや損失関数に対しても適用可能であり、現在の設定を超えて広範な適用性を示唆している。

(a) -5 dB Mixture SNR