[論文レビュー] Generative Modelling for Controllable Audio Synthesis of Expressive Piano Performance

Hao Tan, Yin-Jyun Luo+1 more|arXiv (Cornell University)|Jun 16, 2020

Music and Audio Processing参考文献 11被引用数 4

ひとこと要約

本稿では、オンセットロールから表現的なピアノ演奏を生成する制御可能で、ガウス混合変分オートエンコーダー（GM-VAE）に基づく神経音声合成器を提案する。発音法（スタッカート／レガート）とダイナミクス（ソフト／ロウド）の潜在変数を条件として用いることで、時間的経過に伴う微細なスタイルの混合を可能にする。モデルは、スタッカート／レガートやソフト／ロウドの間で滑らかな遷移を実現し、参照音声からスタイル要因を推定することで、演奏スタイルの転送も可能である。

ABSTRACT

We present a controllable neural audio synthesizer based on Gaussian Mixture Variational Autoencoders (GM-VAE), which can generate realistic piano performances in the audio domain that closely follows temporal conditions of two essential style features for piano performances: articulation and dynamics. We demonstrate how the model is able to apply fine-grained style morphing over the course of synthesizing the audio. This is based on conditions which are latent variables that can be sampled from the prior or inferred from other pieces. One of the envisioned use cases is to inspire creative and brand new interpretations for existing pieces of piano music.

研究の動機と目的

• MIDIのオンセットロールから直接、フレームレベルや速度レベルのMIDIデータを必要としない、リアルなピアノ演奏を生成する神経音声合成器を開発すること。
• 音声ドメインにおいて、発音法やダイナミクスといった表現的演奏特徴の微細で制御可能な操作を可能にすること。
• 表現的要因を潜在空間で分離することで、クリエイティブな応用、例えば時間的経過に伴う滑らかなスタイルの混合や、演奏スタイルの転送を可能にすること。
• ノートのスタイッチドサンプルや固定されたピアノシミュレーションに依存する従来の合成手法の限界を克服すること。

提案手法

• モデルは、発音法（スタッカート／レガート）とダイナミクス（ロウド／ソフト）の2つの潜在空間にガウス混合事前分布を用いた条件付きVAEフレームワークを採用し、分離された制御を可能にする。
• 潜在変数は、音声データから導出された2値のスタイルシーケンス（発音法のオンセット持続時間、ダイナミクスの平均速度）に条件付けられる。
• 生成ネットワークは、オンセットロールとスタイル条件付き潜在ベクトルからMelスペクトログラムを合成するために、2層の双方向LSTMを採用する。
• 推論ネットワークは、参照音声から潜在スタイル表現を推定し、参照曲のスタイルを転送することで演奏スタイルの転送を可能にする。
• 共同損失関数は、再構成損失、混合事前分布に対するKLダイバージェンス、およびスタイル予測のための追加の交差エントロピー損失を最適化する。
• 生成されたMelスペクトログラムを高精細音声に変換するためにWaveGlowが用いられ、高速かつ高品質な推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 生成モデルは、音声ドメインにおいて、発音法やダイナミクスといった表現的ピアノ演奏特徴の微細で連続的な制御を達成できるか？
• RQ2 潜在表現をどのように構造化すれば、時間的経過に伴って異なる演奏スタイル間で滑らかなスタイルの混合を実現できるか？
• RQ3 モデルは、元の音楽的内容を保持したまま、ある曲の表現的スタイルを別の曲に転送できるか、その程度はどの程度か？
• RQ4 モデルは、完全な速度レベルやフレームレベルのMIDI入力を必要とせずに、リアルな音声演奏を生成できるか？

主な発見

• モデルは、MIDI速度情報やフレーム情報が完全に欠落したオンセットロールのみからも、高品質な音声を生成し、実用的な音質を達成した。
• 発音法の潜在空間における線形補間により、スタッカートからレガートへの滑らかなスタイルの混合が実現され、時間の経過とともに音符の持続時間が徐々に長くなる。
• 同様に、ソフトからロウドへのダイナミクスの混合は、振幅と高周波数成分のエネルギーが増加し、聴覚的により高いエネルギー感として認識される。
• 演奏スタイルの転送は効果的である：ルネサンス期の曲がロマン主義期のスタイルに再現され、正確にノートの持続時間とダイナミクスの変化が再現された。
• スタイル転送中でも、ピアノロールとMelスペクトログラムの整合性から、元の音楽的内容が保持されていることが確認された。ノートのオンセットと音高の内容に一貫性が保たれている。
• ガウス混合事前分布の使用により、表現的特徴に対する分離可能で解釈可能な制御が可能となり、新たな演奏解釈のクリエイティブな探求を支援した。