[論文レビュー] DDSP-based Singing Vocoders: A New Subtractive-based Synthesizer and A Comprehensive Evaluation

Da-Yi Wu, Wen-Yi Hsiao+6 more|arXiv (Cornell University)|Aug 9, 2022

Music and Audio Processing被引用数 8

ひとこと要約

本稿では、位相連続性と高調波整合性を保証するための時間変動フィルタを用いた鋸波形を出力源とするDDSPベースの歌唱音声音声合成器SawSingを提案する。3時間の学習データのみで、最先端のGANおよび拡散モデルベース音声合成器を上回る性能を示し、収束が早く、主観的品質が優れているが、無声子音や息声の発音では残留する「ザラザラ感」のアーティファクトが見られる。

ABSTRACT

A vocoder is a conditional audio generation model that converts acoustic features such as mel-spectrograms into waveforms. Taking inspiration from Differentiable Digital Signal Processing (DDSP), we propose a new vocoder named SawSing for singing voices. SawSing synthesizes the harmonic part of singing voices by filtering a sawtooth source signal with a linear time-variant finite impulse response filter whose coefficients are estimated from the input mel-spectrogram by a neural network. As this approach enforces phase continuity, SawSing can generate singing voices without the phase-discontinuity glitch of many existing vocoders. Moreover, the source-filter assumption provides an inductive bias that allows SawSing to be trained on a small amount of data. Our experiments show that SawSing converges much faster and outperforms state-of-the-art generative adversarial network and diffusion-based vocoders in a resource-limited scenario with only 3 training recordings and a 3-hour training time.

研究の動機と目的

• 音声合成器における位相不連続性と「グルーピング」アーティファクトが歌唱音声品質を劣化させる問題に対処すること。
• DDSPフレームワーク内での減算的音色合成の歌唱音声生成への適用可能性を検討すること。
• データ制限および時間制限下でのDDSPベース音声合成器の学習効率と主観的品質を評価すること。
• 標準的およびリソース制限下の学習シナリオにおいて、SawSingの性能を最先端のニューラル音声合成器と比較すること。
• 無声子音や息声の発音における「ザラザラ感」などの主観的アーティファクトを特定し、それらを後処理やアーキテクチャの最適化によって軽減すること。

提案手法

• SawSingは、位相連続性と高調波整合性を保証する微分可能な鋸波発振器を出力源として用いる。
• ニューラルネットワークが入力のメルスペクトログ램から基本周波数（f0）と時間変動型FIRフィルタ係数を推定し、高調波成分とノイズ成分を整形する。
• モデルは高調波パス（フィルタード・鋸波）と確率的パス（フィルタード・一様ノイズ）を組み合わせて歌唱音声を合成する。
• 位相連続性は鋸波信号の物理的性質によって強制され、従来のニューラル音声合成器で一般的な一時的アーティファクトを低減する。
• 無声フレームの検出にParselmouthを用いた後処理手法を適用し、無声期間中の高調波エネルギーを抑制する。
• 主観的損失と再構成損失の組み合わせを用いてエンド・トゥ・エンドで学習し、客観的指標と主観的MOSテストの両方で評価する。

実験結果

リサーチクエスチョン

• RQ1 DDSPフレームワーク内での減算的音色合成アプローチは、位相連続性を維持しつつ、歌唱音声を効果的にモデル化できるか？
• RQ2 限られた学習データと時間制限下で、SawSingの性能は最先端のGANおよび拡散モデルベース音声合成器と比べてどうか？
• RQ3 SawSingではどのような主観的アーティファクト（例：「ザラザラ感」）が生じるか？ それらは後処理やアーキテクチャの最適化によって軽減可能か？
• RQ4 ソース・フィルタモデルのインダクティブバイアスは、最小限のデータでも収束が速く、一般化性能が優れているか？
• RQ5 モノフォニック楽器音色生成とは異なる歌唱音声に、DDSPにおけるソース・フィルタ構造を適応可能か？

主な発見

• リソース制限下（3時間の学習データ）において、SawSingは男性声の平均評価スコア（MOS）が2.4、女性声が2.1を記録し、HiFi-GANの1.0を大きく上回った。
• 低データ環境下でSawSingはHiFi-GAN、DDSP-Add、NSFよりも収束が早く、主観的品質が優れていた。男性声についてはMOS差が統計的に有意（p < 0.05）であった。
• 長発話においても高速収束と優れた性能を発揮したが、無声子音や息声の発音では高調波成分の過剰フィルタリングにより「ザラザラ感」のアーティファクトが生じた。
• この「ザラザラ感」アーティファクトは標準的な客観的損失関数では捉えられず、主観的品質と学習目的との間にはギャップがあることを示唆した。
• Parselmouthを用いた無声フレームでの高調波エネルギー抑制後処理により、アーティファクトが顕著に軽減され、その有効性が裏付けられた。
• 通常の学習シナリオではDDSP-Addが男性声においてSawSingを上回った（p < 0.05）。これは加法的モデリングが特定の子音に対してよりロバストである可能性を示唆したが、SawSingの学習効率が低データ環境下で優位であることを示した。