[論文レビュー] VoiceFixer: A Unified Framework for High-Fidelity Speech Restoration

Haohe Liu, Xubo Liu+6 more|arXiv (Cornell University)|Apr 12, 2022

Speech and Audio Processing参考文献 32被引用数 6

ひとこと要約

VoiceFixer は、メルスペクトログ램推定とニューラルボコーダーに基づく波形合成の2段階アプローチを用いて、ノイズ、リバーブ、クリッピング、低帯域幅劣化といった複数の歪みを統合的に処理する高精細音声復元のための統合的ディーブラーニングフレームワークである。ベースライン手法よりもMOSスコアが0.256高く、聴取品質においてニアオラクル性能に達しており、重度に劣化した歴史的録音の復元にも成功している。

ABSTRACT

Speech restoration aims to remove distortions in speech signals. Prior methods mainly focus on a single type of distortion, such as speech denoising or dereverberation. However, speech signals can be degraded by several different distortions simultaneously in the real world. It is thus important to extend speech restoration models to deal with multiple distortions. In this paper, we introduce VoiceFixer, a unified framework for high-fidelity speech restoration. VoiceFixer restores speech from multiple distortions (e.g., noise, reverberation, and clipping) and can expand degraded speech (e.g., noisy speech) with a low bandwidth to 44.1 kHz full-bandwidth high-fidelity speech. We design VoiceFixer based on (1) an analysis stage that predicts intermediate-level features from the degraded speech, and (2) a synthesis stage that generates waveform using a neural vocoder. Both objective and subjective evaluations show that VoiceFixer is effective on severely degraded speech, such as real-world historical speech recordings. Samples of VoiceFixer are available at https://haoheliu.github.io/voicefixer.

研究の動機と目的

• 既存の音声復元モデルが、ノイズ除去やリバーブ除去といった特定の歪みタイプに限定して処理しているという限界に対処すること。
• ノイズ、リバーブ、クリッピング、低帯域幅といった複数の歪みが同時に発生する状況でも、音声を復元できる統合的フレームワークの開発。
• 歴史的録音など重度に劣化した入力から、高精細（44.1 kHz）音声を復元し、低精細または単一歪み処理手法を上回る聴取品質を実現すること。
• 段階的なモデルを統合的でエンド・トゥ・エンドで学習可能なアーキテクチャに置き換えることで、計算コストとアーチファクトの蓄積を低減すること。
• 今後のマルチ歪み音声復元分野の研究を加速するために、事前学習済みモデルとコードベースを公開すること。

提案手法

• フレームワークは2段階設計を採用：歪みのある音声からメルスペクトログラムを推定する分析段階（ResUNetベースのネットワーク）、およびニューラルボコーダー（TFGAN）を用いた高精細波形生成の合成段階。
• 中間特徴は低次元のメルスペクトログラムとして表現され、多様な歪みの復元を統合する共有表現として機能する。
• 歪みは、加法的ノイズ、部屋のインパulse応答（リバーブ）との畳み込み、固定範囲内での振幅クリッピングという一連の操作の合成関数としてモデル化される。
• 分析モジュールは、歪みのある入力を入力として、クリアなメルスペクトログラムを予測するように学習される。一方、合成モジュールは、大規模な音声データセットで事前学習され、メル特徴から高品質な波形を生成する。
• システム全体は2段階で学習される：分析と合成が別々に最適化され、より良い波形生成を実現するため、事前学習済みボコーダーの事前知識が活用される。
• フレームワークはマルチ歪み復元および音声スーパーレゾリューションの両方をサポートしており、低帯域幅音声（1–22.05 kHz）を44.1 kHzのフルバンド幅に拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 ノイズ、リバーブ、クリッピング、低帯域幅といった複数の歪みが同時に発生する状況において、統合的ディーブラーニングフレームワークが有効に音声を復元できるか。
• RQ2 直接波形またはスペクトログラムをモデル化するのではなく、メルスペクトログラムを中間特徴として用いることで、マルチ歪み音声復元のロバスト性と性能が向上するか。
• RQ3 統合的フレームワークが、重度に劣化した入力からでも高精細（44.1 kHz）音声を復元し、クリアな音声に近い聴取品質を達成できるか。
• RQ4 Objective メトリクス（PESQ、SSIM、LSD）および主観的MOSの観点から、VoiceFixerは段階的モデルやタスク特化型ベースラインと比較してどの程度の性能を示すか。
• RQ5 事前学習済みニューラルボコーダーが、統合的復元パイプラインにおいて、推定されたメルスペクトログラムから高精細波形を復元するのにどの程度一般化可能か。

主な発見

• VoiceFixer は HiFi-Res テストセットで平均評価点（MOS）3.62 を達成し、ベースラインの UNet 手法よりも 0.256 高く、オラクル・メル基準とわずか 0.11 の差にとどまる。
• VD-Test ノイズ除去ベンチマークでは、PESQ-wb スコア 2.43 を達成し、SEGAN や WaveUNet、弱教師ありモデル（WL-Model）を上回り、ターゲットMOSの 3.69 に一致する。
• デクリッピングタスクでは、クリッピングレベルが 0.25 および 0.1 の両方で MOS 3.38 を達成し、SSPADE よりも 0.04 および 1.25 ポイント高い性能を示し、優れた聴取品質を実証した。
• PESQ-wb や SSIM といった客観的メトリクスでは低いスコアを示すものの、VoiceFixer は主観的MOSで最も顕著な向上を示しており、標準的な客観的測定値では捉えきれない聴取品質の向上が確認された。
• 低帯域幅音声（1–22.05 kHz）を 44.1 kHz フルバンド幅に復元する能力を有しており、高周波数成分が強化された高精細出力を得ており、聴取者の認識に寄与している。
• 事前学習済みモデルとコードベースの公開により、今後のマルチ歪み音声復元分野の研究が加速され、追加の歪みタイプへの応用拡張が可能になる。