[論文レビュー] Singing Voice Synthesis Using Deep Autoregressive Neural Networks for Acoustic Modeling

Yuanhao Yi, Yang Ai+2 more|arXiv (Cornell University)|Jun 21, 2019

Music and Audio Processing参考文献 21被引用数 8

ひとこと要約

本稿では、F0およびスペクトル特徴をより良好な時間的依存性でモデル化するため、深層自己回帰（DAR）ニューラルネットワークを提案する。離散化されたF0予測と後処理戦略、および自己注意を強化したPrenetを用いることで、より自然なバイブラートと楽譜の音符との良好なアライメントを実現し、中国語歌唱コーパス上で客観的および主観的評価の両面でRNNベースのベースラインを上回った。

ABSTRACT

This paper presents a method of using autoregressive neural networks for the acoustic modeling of singing voice synthesis (SVS). Singing voice differs from speech and it contains more local dynamic movements of acoustic features, e.g., vibratos. Therefore, our method adopts deep autoregressive (DAR) models to predict the F0 and spectral features of singing voice in order to better describe the dependencies among the acoustic features of consecutive frames. For F0 modeling, discretized F0 values are used and the influences of the history length in DAR are analyzed by experiments. An F0 post-processing strategy is also designed to alleviate the inconsistency between the predicted F0 contours and the F0 values determined by music notes. Furthermore, we extend the DAR model to deal with continuous spectral features, and a prenet module with self-attention layers is introduced to process historical frames. Experiments on a Chinese singing voice corpus demonstrate that our method using DARs can produce F0 contours with vibratos effectively, and can achieve better objective and subjective performance than the conventional method using recurrent neural networks (RNNs).

研究の動機と目的

• 歌唱音声におけるバイブラートのような微細な時間的ダイナミクスを捉えることが難しいRNNベースの音声モデリングの限界を解消すること。
• 楽譜の音名に定義されたピッチ値からのずれを低減することで、F0の曲線の整合性を向上させること。
• 自己注意に基づくPrenetモジュールを用いて、長距離依存性を強化したスペクトル特徴のモデリングを行うこと。
• 従来のRNNベースの手法と比較して、より自然で知覚的質の高い歌唱音声合成を達成すること。
• F0とスペクトル特徴の両方を統合されたSVSフレームワーク内で、DARモデルの有効性を評価すること。

提案手法

• F0は、メルスケールに変換され、N段階に量子化された離散化F0値を用いた深層自己回帰ネットワークでモデル化され、1-of-Kベクトルとして表現される。
• フィードバックリンク機構により、最後のK個の予測出力を再帰ユニットに組み込むことで、フレーム間の時間的依存性をモデル化する。
• F0の後処理戦略として、移動平均フィルタを適用し、予測されたF0曲線を楽譜の音名に定義されたピッチ値に一致させ、ずれを低減する。
• スペクトルモデリングのため、複数の自己注意層を備えたPrenetモジュールが、履歴フレームを処理し、動的なスペクトル変化の表現を向上させる。
• スペクトルモデルは残差接続と最終的な全結合層を用い、メルケプストラム係数を予測する。トレーニングには平均二乗誤差（MSE）が使用される。
• 予測されたF0とスペクトル特徴から波形を合成するためにWaveRNN音声生成器が使用される。

実験結果

リサーチクエスチョン

• RQ1 深層自己回帰モデルは、歌唱音声におけるF0の局所的動的変化（例：バイブラート）を効果的にモデル化できるか？
• RQ2 DARモデルにおける履歴長（K）は、F0予測性能と自然さにどのように影響するか？
• RQ3 提案されたF0の後処理戦略は、予測されたF0曲線と楽譜の音名ピッチとの間のアライメントを顕著に改善するか？
• RQ4 自己注意を強化したPrenetモジュールは、標準的なRNNと比較してスペクトル特徴モデリングを改善できるか？
• RQ5 提案されたDARベースのSVSシステムは、RNNベースのベースラインと比較して、客観的および主観的評価で優れているか？

主な発見

• DARベースのF0モデルは、自然なF0曲線で35.09 HzのF0 RMSE、楽譜に定義されたF0で19.14 HzのF0 RMSEを達成し、RNNベースライン（35.09 Hzおよび34.42 Hz）を顕著に上回った。
• F0の後処理を施した後、楽譜に定義されたF0におけるRMSEは8.45 Hzに低下し、アライメントの向上が明確に示された。
• 楽譜に定義されたF0を基準として用いた場合、予測されたF0曲線と実測値の間の相関係数は0.99に達し、高い忠実度を示した。
• 自己注意を組み込んだスペクトルモデルは、メルケプストラム歪み（MCD）が3.51 dBを記録し、ベースラインを上回り、スペクトル精度の向上が確認された。
• 主観的聴取テストでは、DARベースのモデルがRNNベースラインよりも顕著に好まれた（p < 0.001）、さらにDAR+Pバージョンがさらに好まれた（p < 0.01）。
• 本手法は、自然なバイブラートを有するF0曲線を効果的に生成できたが、RNNベースラインは過剰に平滑化され、バイブラートがうまく再現できなかった。