[論文レビュー] Peking Opera Synthesis via Duration Informed Attention Network

Yusong Wu, Shengchen Li+5 more|arXiv (Cornell University)|Aug 7, 2020

Music and Audio Processing参考文献 24被引用数 4

ひとこと要約

本稿では、ラグランジュ乗数最適化を施した混合密度ネットワーク（MDN）を統合した、発音時間に配慮したアテンションネットワーク（DurIAN）を提案する。発音時間はデータ駆動型最適化によりモデル化され、実際の歌唱から抽出した疑似楽譜を用いることで、ルールベース手法に比べて発音時間予測誤差が著しく低減され、より自然な音高曲線が得られる。楽譜からの高品質で表現力のある北京オペラ歌唱合成を実現した。

ABSTRACT

Peking Opera has been the most dominant form of Chinese performing art since around 200 years ago. A Peking Opera singer usually exhibits a very strong personal style via introducing improvisation and expressiveness on stage which leads the actual rhythm and pitch contour to deviate significantly from the original music score. This inconsistency poses a great challenge in Peking Opera singing voice synthesis from a music score. In this work, we propose to deal with this issue and synthesize expressive Peking Opera singing from the music score based on the Duration Informed Attention Network (DurIAN) framework. To tackle the rhythm mismatch, Lagrange multiplier is used to find the optimal output phoneme duration sequence with the constraint of the given note duration from music score. As for the pitch contour mismatch, instead of directly inferring from music score, we adopt a pseudo music score generated from the real singing and feed it as input during training. The experiments demonstrate that with the proposed system we can synthesize Peking Opera singing voice with high-quality timbre, pitch and expressiveness.

研究の動機と目的

• 北京オペラ歌唱合成における即興的で表現的な変化に起因するリズムと音高の不一致の課題に対処すること。
• 北京オペラに一般的に見られる長時間・非標準的な発音構造において、ルールベースの発音時間スケーリング（例：Fitting Heuristic）の限界を克服すること。
• 訓練中に実際の歌唱波形から抽出した疑似楽譜を用いることで、楽譜入力と音声出力の間のアライメントを向上させること。
• 北京オペラのバイブラート、音高変化、トーン特性を捉えた高精細で表現力のある歌唱合成を可能にすること。
• 客観的指標と主観的平均意見スコア（MOS）テストを通じて、システムの性能を評価すること。

提案手法

• 予測された音高と発音系列に条件づけられたスペクトログラム特徴を生成する、DurIANに基づく自己回帰フレームワークを用いる。
• ラグランジュ乗数最適化を施した文脈に配慮した混合密度ネットワーク（MDN）を提案し、ルールベースのFitting Heuristic手法に代わって発音時間を予測する。
• ラグランジュ乗数法により、予測された発音時間の合計が楽譜からの指定されたノート時間と一致する制約を強制することで、最適な発音時間系列の推定が可能になる。
• メロディー音声認識アルゴリズムを用いて、実際の歌唱波形から疑似楽譜を生成し、訓練中に入力楽譜と音声特徴のアライメントを図るために使用する。
• 時間的依存性をモデル化し、表現力のある音高曲線を生成するために、発音エンコーダにCBHGモジュールを、音高条件付きデコーダを用いる。
• 発音、発音時間、トランスクリプトされたノート音高がアノテートされた、独自に構築した北京オペラデータセットを用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型発音時間モデリング手法は、北京オペラにおける顕著に変動する発音時間のモデリングにおいて、ルールベースのFitting Heuristic手法を上回るか？
• RQ2 実際の歌唱から抽出した疑似楽譜の使用は、入力楽譜と生成音声の間のアライメントを向上させるのにどの程度有効か？
• RQ3 提案手法は、北京オペラ歌唱に特徴的な表現的バイブラートと音高変化をどの程度正確にモデリングできるか？
• RQ4 MDNにラグランジュ最適化を組み合わせることで、標準的な回帰法やソフトマックスベースの手法に比べ、より正確な発音時間予測が可能になるか？
• RQ5 合成北京オペラ歌唱の主観的自然さは、実際の演奏と比べてどの程度高いか？

主な発見

• 提案されたBiLSTM-MDN-Lag発音時間モデルは、全ノートにおいて平均8.91フレームの発音時間予測誤差を達成し、Fitting Heuristicベースライン（19.61フレーム）および他のバリエーションを著しく上回った。
• 2秒未満のノートにおいては、提案手法がわずか3.24フレームの予測誤差を記録し、短時間発音文脈における優れた正確性を示した。
• 主観的聴取テストでは、平均意見スコア（MOS）が3.34を記録し、自然さと発話の明瞭さがやや高い水準にあることを示した。
• 生成された音高曲線は豊富なバイブラートとダイナミックな遷移を示し、本物の北京オペラ歌唱の表現的特徴に近く一致した。
• 長時間ノートにおいて、BiLSTM-MDN-LagモデルはBiLSTM-MSE-FitおよびBiLSTM-MDN-Fitを上回った。これは、主な母音を誤って特定するエラーを回避できる能力のおかげである。
• 訓練中に疑似楽譜を用いることで、実際の歌唱と入力楽譜の不一致を効果的に是正し、訓練および推論のアライメントが向上した。