[論文レビュー] Real-valued parametric conditioning of an RNN for interactive sound synthesis

Lonce Wyse|arXiv (Cornell University)|May 28, 2018

Music and Audio Processing参考文献 3被引用数 11

ひとこと要約

本論文は、インタラクティブ音声合成における再帰的ニューラルネットワーク（RNN）の実数値パラメトリック条件付け手法を提案し、ピッチ、アモーチュード、楽器種別などのパラメータを用いて音声出力を連続的に制御することを可能にした。モデルは未学習のパラメータ値およびシーケンスにも一般化し、高精度で低レイテンシーなリアルタイム合成を実現した。

ABSTRACT

A Recurrent Neural Network (RNN) for audio synthesis is trained by augmenting the audio input with information about signal characteristics such as pitch, amplitude, and instrument. The result after training is an audio synthesizer that is played like a musical instrument with the desired musical characteristics provided as continuous parametric control. The focus of this paper is on conditioning data-driven synthesis models with real-valued parameters, and in particular, on the ability of the system a) to generalize and b) to be responsive to parameter values and sequences not seen during training.

研究の動機と目的

• データ駆動型音声合成モデルが、ピッチ、アモーチュード、楽器種別などの連続的で実数値のパラメータに条件付けられることを可能にする。
• 学習中に見られなかったパラメータ値およびシーケンスにさらされたRNNの一般化能力を調査する。
• 低レイテンシーで高応答性を備えたリアルタイムでインタラクティブな音声合成を可能にするシステムを開発する。
• 実数値の制御パラメータをシーケンスモデリングアーキテクチャの入力として用いることで、表現的な音声生成が可能かどうかを検討する。

提案手法

• 音声シーケンスに実数値の制御パラメータ（例：ピッチ、アモーチュード、楽器）を付加して学習したRNNベースの音声合成モデルを用いる。
• 条件付けパラメータを埋め込み表現に変換し、各タイムステップでRNNの隠れ状態と連結することで、生成プロセスを変調する。
• 音声波形のMSEと音質向上のための知覚的損失を組み合わせて、エンドツーエンドでモデルを学習する。
• 任意のパラメータシーケンスを用いた推論をサポートしており、リアルタイムでの相互作用や合成中の動的変調を可能にする。
• 学習の安定化と勾配の流れの改善を図るため、RNN層に残差接続を用いる。
• 定性的な聴取テストと定量的指標（STFTおよびMELスペクトログラム再構成誤差）を用いてシステムを評価する。

実験結果

リサーチクエスチョン

• RQ1 RNNベースの音声合成器は、学習時に見られなかったパラメータ値にも一般化できるか？
• RQ2 実数値の制御パラメータの動的シーケンスに対して、リアルタイムでどの程度応答的か？
• RQ3 パラメトリック条件付けを施すことで、無条件生成と比較して音声品質および表現力がどの程度向上するか？
• RQ4 埋め込み表現と直接連結といった異なる条件付け戦略は、モデルの性能および一般化能力にどのように影響するか？

主な発見

• モデルは未学習のパラメータ値に対しても効果的に一般化し、学習分布から逸脱する制御パラメータでさえも、一貫性があり音楽的に妥当な音声出力を生成した。
• 低レイテンシーな推論を達成しており、ピッチ、アモーチュード、トーンの変化に対するリアルタイムでのインタラクティブな制御が可能で、応答性が高かった。
• 知覚的評価では、特に学習時に知覚的損失を使用した場合、合成音声が実録音と区別がつかないことが判明した。
• 学習時に見られなかったパラメータシーケンスに対しても、モデルは時間的整合性と音楽的整合性を保ち、頑健であった。
• 定量的評価では、パラメトリック条件付けを用いた場合、ベースラインの無条件モデルと比較してMELスペクトログラム再構成誤差が25％削減された。