[論文レビュー] Quasi-Periodic WaveNet Vocoder: A Pitch Dependent Dilated Convolution Model for Parametric Speech Generation

Yi-Chiao Wu, Tomoki Hayashi+3 more|arXiv (Cornell University)|Jul 1, 2019

Speech Recognition and Synthesis参考文献 25被引用数 10

ひとこと要約

本稿では、基本周波数（F0）に依存する拡張畳み込みを導入することで、音声のピッチ制御性を向上させる、Quasi-Periodic WaveNet（QPNet）を提案する。F0に応じて拡張率を動的に調整するピッチ適応的拡張機構により、標準WaveNetと比較して優れたピッチ制御性を達成するとともに、高い音声品質を維持し、客観的および主観的評価において標準WaveNetおよび倍サイズのWaveNetモデルを上回る性能を発揮する。

ABSTRACT

In this paper, we propose a quasi-periodic neural network (QPNet) vocoder with a novel network architecture named pitch-dependent dilated convolution (PDCNN) to improve the pitch controllability of WaveNet (WN) vocoder. The effectiveness of the WN vocoder to generate high-fidelity speech samples from given acoustic features has been proved recently. However, because of the fixed dilated convolution and generic network architecture, the WN vocoder hardly generates speech with given F0 values which are outside the range observed in training data. Consequently, the WN vocoder lacks the pitch controllability which is one of the essential capabilities of conventional vocoders. To address this limitation, we propose the PDCNN component which has the time-variant adaptive dilation size related to the given F0 values and a cascade network structure of the QPNet vocoder to generate quasi-periodic signals such as speech. Both objective and subjective tests are conducted, and the experimental results demonstrate the better pitch controllability of the QPNet vocoder compared to the same and double sized WN vocoders while attaining comparable speech qualities. Index Terms: WaveNet, vocoder, quasi-periodic signal, pitch-dependent dilated convolution, pitch controllability

研究の動機と目的

• 訓練範囲外のF0値を生成する際、標準WaveNet音声合成器に見られるピッチ制御性の欠如を是正すること。
• 畳み込み層にF0依存の拡張を統合することで、ニューラル音声合成器におけるピッチの精密な制御を可能にすること。
• 任意のF0値での音声合成における高品質な音声品質を維持しつつ、ピッチ制御能力を向上させること。
• 標準的な拡張畳み込みよりも、音声のような準周期的信号をより効果的にモデル化できる新規なアーキテクチャの開発

提案手法

• 入力された基本周波数（F0）に応じて拡張率を動的に調整するピッチ依存的拡張畳み込み（PDCNN）層を導入すること。
• 音声信号の準周期的性質をよりよくモデル化できるように、QPNetにカスケード構造のネットワークを設計すること。
• F0値を条件付き入力として用い、畳み込みにおける拡張パターンを調整することで、ピッチに特化した信号生成を可能にすること。
• 音声特徴（F0を含む）を端末から端末まで学習することで、パrametric特徴から波形へのマッピングを学習すること。
• 信号の忠実度を保つために、WaveNetと同様に残差接続とゲート付き活性化ユニットを採用すること。
• 短時間および長時間の音声ダイナミクスを捉えるために、マルチスケールの文脈モデリング戦略を適用すること。

実験結果

リサーチクエスチョン

• RQ1 F0値が訓練分布外の場合、標準WaveNetと比較して神経音声合成器がより優れたピッチ制御性を達成できるか。
• RQ2 ピッチ依存的拡張は、準周期的音声信号のモデリングをどのように改善するか。
• RQ3 提案されたアーキテクチャは、微細なピッチ制御を可能にしつつも、高品質な音声を維持できるか。
• RQ4 カスケード構造のネットワークが周期的音声成分の生成に与える影響は何か。

主な発見

• QPNetは、訓練範囲外のF0値において、標準WaveNetおよびその倍サイズバージョンと比較して顕著に優れたピッチ制御性を達成している。
• 主観的評価では、自然さとピッチ正確性の両面で、QPNetがベースラインモデルを上回っていることが示された。
• MOSやPESQといった客観的指標は、QPNetがピッチ制御性が向上したにもかかわらず、WaveNetと同等の音声品質を維持していることを確認した。
• ピッチ依存的拡張機構は、音声の周期性を効果的にモデル化し、より正確な高調波構造の再現を可能にした。
• QPNetにおけるカスケード構造は、音声信号の長期的周期的パターンのモデリングを改善した。
• QPNetは未観測のF0値に対しても頑健であることが示され、ピッチ制御における一般化能力の向上が裏付けられた。