[論文レビュー] ReVISE: Self-Supervised Speech Resynthesis with Visual Input for Universal and Generalized Speech Enhancement

Wei-Ning Hsu, Tal Remez+3 more|arXiv (Cornell University)|Dec 21, 2022

Speech and Audio Processing被引用数 4

ひとこと要約

ReVISEは、自己教師付き音声モデルの離散単位と視覚入力を活用することで、ノイズ、混响、分離、インpainting、動画から音声への変換といった多様な歪みを統一的に扱う、普遍的で自己教師付きの音声視覚強調フレームワークを提案する。合成データ（LRS3）および実世界データ（EasyCom）のベンチマークにおいて、テキストの教師信号を一切必要とせず、最先端の性能を達成し、音声の聞き取りやすさと品質を顕著に向上させた。

ABSTRACT

Prior works on improving speech quality with visual input typically study each type of auditory distortion separately (e.g., separation, inpainting, video-to-speech) and present tailored algorithms. This paper proposes to unify these subjects and study Generalized Speech Enhancement, where the goal is not to reconstruct the exact reference clean signal, but to focus on improving certain aspects of speech. In particular, this paper concerns intelligibility, quality, and video synchronization. We cast the problem as audio-visual speech resynthesis, which is composed of two steps: pseudo audio-visual speech recognition (P-AVSR) and pseudo text-to-speech synthesis (P-TTS). P-AVSR and P-TTS are connected by discrete units derived from a self-supervised speech model. Moreover, we utilize self-supervised audio-visual speech model to initialize P-AVSR. The proposed model is coined ReVISE. ReVISE is the first high-quality model for in-the-wild video-to-speech synthesis and achieves superior performance on all LRS3 audio-visual enhancement tasks with a single model. To demonstrates its applicability in the real world, ReVISE is also evaluated on EasyCom, an audio-visual benchmark collected under challenging acoustic conditions with only 1.6 hours of training data. Similarly, ReVISE greatly suppresses noise and improves quality. Project page: https://wnhsu.github.io/ReVISE.

研究の動機と目的

• ノイズ除去、エコー除去、分離、インpainting、動画から音声への変換といった多様な音声強調タスクを、1つの汎用的フレームワークに統合すること。
• 歪みタイプに特化したモデルの限界を克服し、複数の音声劣化タイプに一般化可能な普遍的強調アプローチを提案すること。
• クリアな参照信号の正確な再構成を必要とせず、音声の聞き取りやすさ、品質、同期性を向上させること。
• これまでのモデルが達成できなかった、高品質な実環境における動画から音声への変換を可能にすること。
• リソースが限られた実世界の音声視覚データセット（例：EasyCom）において、データ効率性とロバスト性を示すこと。

提案手法

• ReVISEは音声視覚的音声再構築として音声強調を定式化し、2段階のプロセス（疑似音声視覚的音声認識：P-AVSR と 疑似テキストから音声合成：P-TTS）で構成される。
• P-AVSRは視覚的入力と雑音混在音声入力を用いて、自己教師付き音声視覚モデル（AV-HuBERT）を初期化に用いて離散音声単位を予測する。
• P-TTSは予測された離散単位から高精細な音声を生成し、テキストの教師信号を回避するために自己教師付き音声単位を中間表現として用いる。
• 自己教師付き音声モデル（例：HuBERT）から得られる離散単位を介してP-AVSRとP-TTSを接続し、字幕なしでエンドツーエンド学習を可能にする。
• モデルは、合成歪み（LRS3）と実世界データ（EasyCom）を含む多様な劣化データタイプ上でエンドツーエンドで訓練され、タスク特化のファインチューニングが不要である。
• アブレーションスタディにより、視覚入力、事前学習、自己教師付き単位の選択が重要であることが確認され、モデルが大きく、より優れたSSL単位を用いることで性能向上が見られた。

実験結果

リサーチクエスチョン

• RQ1 1つのモデルが、ノイズ除去、分離、インpainting、動画から音声への変換といった複数の音声歪みタイプに一般化可能か？
• RQ2 テキストではなく自己教師付き音声単位を用いることで、リソースが限られた環境や実世界設定で一般化性と性能が向上するか？
• RQ3 音声が重度に劣化している、またはフレームが欠落している状況でも、視覚入力が音声の聞き取りやすさと品質をどれほど向上させるか？
• RQ4 ノイズ除去などの1つの歪みタイプで訓練されたモデルが、動画から音声への変換など未学習の歪みタイプに対してゼロショットで一般化可能か？
• RQ5 自己教師付き音声視覚表現の事前学習が、下流の強調タスクにおける性能にどの程度寄与するか？

主な発見

• ReVISEは、1つの統一モデルでLRS3の4つの強調タスク（ノイズ除去、分離、インpainting、動画から音声への変換）において、最先端の性能を達成した。
• 訓練データがたった1.6時間の挑戦的なEasyComベンチマークでは、ReVISEは強力なマスキングベースのベースラインと比較して、語誤り率（WER）を最大37.5%絶対値低下させ、平均評価スコア（MOS）を最大1.09向上させた。
• ReVISEは先行モデルよりも高品質な音声を生成した：MOSスコアは4.19（チャネル2）および4.11（ビームフォーミング）に達し、元の遠距離録音（2.95および2.67）を著しく上回った。
• 当該タスクに訓練を一切行わずに、動画から音声への変換にゼロショットで一般化でき、強いロバスト性と普遍性を示した。
• アブレーションスタディにより、AV-HuBERTでP-AVSRを事前学習すると、WERがベースモデルで38.9%、大規模モデルで43.1%低下し、視覚入力は全タスクで性能向上をもたらしたが、特に分離とインpaintingで顕著だった。
• LibriSpeech（LS960）で学習したHuBERT単位を用いることで、V2SのWERは35.2に低下したが、LRS3+VoxCeleb2で学習したAV-HuBERTの単位では41.2に留まり、事前学習データの分布が性能に影響することが示された。