[論文レビュー] MIDI-DDSP: Detailed Control of Musical Performance via Hierarchical Modeling

Yusong Wu, Ethan Manilow+7 more|arXiv (Cornell University)|Dec 17, 2021

Music Technology and Sound Studies被引用数 10

ひとこと要約

MIDI-DDSP は、解釈可能な微分可能デジタル信号処理（DDSP）と学習された事前分布を組み合わせた階層的ニューラル音声合成モデルであり、音楽的パフォーマンスにおける詳細なユーザー制御を可能にしながら高精細な音声生成を実現する。音楽を3段階の階層（ノート、表現的パフォーマンス、合成パラメータ）でモデル化し、任意の段階で干渉可能であり、聴取テストにおいて、FluidSynth や DDSP Inference、Ableton などのベースラインを上回る最先端の現実性と制御性を達成している。

ABSTRACT

Musical expression requires control of both what notes are played, and how they are performed. Conventional audio synthesizers provide detailed expressive controls, but at the cost of realism. Black-box neural audio synthesis and concatenative samplers can produce realistic audio, but have few mechanisms for control. In this work, we introduce MIDI-DDSP a hierarchical model of musical instruments that enables both realistic neural audio synthesis and detailed user control. Starting from interpretable Differentiable Digital Signal Processing (DDSP) synthesis parameters, we infer musical notes and high-level properties of their expressive performance (such as timbre, vibrato, dynamics, and articulation). This creates a 3-level hierarchy (notes, performance, synthesis) that affords individuals the option to intervene at each level, or utilize trained priors (performance given notes, synthesis given performance) for creative assistance. Through quantitative experiments and listening tests, we demonstrate that this hierarchy can reconstruct high-fidelity audio, accurately predict performance attributes for a note sequence, independently manipulate the attributes of a given performance, and as a complete system, generate realistic audio from a novel note sequence. By utilizing an interpretable hierarchy, with multiple levels of granularity, MIDI-DDSP opens the door to assistive tools to empower individuals across a diverse range of musical experience.

研究の動機と目的

• 現行のシステムがバランスを欠いている、リアルなニューラル音声合成と細かな音楽的制御のギャップを埋めること。
• 解釈可能性を保ちつつ高精細な音声生成を可能にする、構造的で階層的な生成モデルを構築すること。
• ノートのシーケンス、表現的パフォーマンス、または合成パラメータのいずれの段階でもユーザーが干渉できることを可能にし、同時に学習された事前分布を用いた自動生成をサポートすること。
• 解釈可能で制御可能な音声合成を通じて、あらゆる音楽経験レベルのユーザーが支援を受けられる音楽制作ツールを実現すること。
• パフォーマンスおよび合成に関する学習された事前分布が、新しいノートシーケンスから正確な属性制御でリアルな音声を生成できることを実証すること。

提案手法

• MIDI-DDSP は3段階の階層を用いる：ノート（MIDI入力）、表現的パフォーマンス（バイブラート、ダイナミクス、アーティキュレーション）、合成パラメータ（DDSPベース）。
• 学習可能な3つのモジュールを採用：DDSP Inference（音声から合成パラメータ）、Expression Generator（ノートからパフォーマンス特徴）、Synthesis Generator（パフォーマンスおよび合成パラメータから音声）。
• ノート検出、特徴抽出、DDSP合成のための固定で微分可能な関数を活用し、エンドツーエンドの微分可能性と解釈可能性を確保する。
• 各段階が前の段階に条件付けられる階層的オートエンコーダーのような構造を採用し、任意の段階で条件付き生成を可能にする。
• 再構成損失と知覚的損失の組み合わせを用いて、モノフォニック楽器の録音データで訓練し、音声品質と表現的詳細を維持する。
• 潜在空間における推論と最適化を通じて、条件付き生成（例：ノートから音声を生成）と分離可能な制御（例：バイブラートを独立して変更）を両立可能にする。

Figure 1: (Left) The MIDI-DDSP architecture. MIDI-DDSP extracts interpretable features at the performance and synthesis levels, building a modeling hierarchy by learning feature generation at each level. Red and blue components indicate encoding and decoding respectively. Shaded boxes represent modu

実験結果

リサーチクエスチョン

• RQ1 階層的モデルは、高精細な音声合成と音楽的パフォーマンスにおける詳細なユーザー制御の両方を達成できるか？
• RQ2 与えられたノートシーケンスと表現的属性から、音声をどれほど正確に再構成できるか？
• RQ3 バイブラート、ダイナミクス、トーンカラーなどの表現的属性を、リアルさを損なわず独立して操作できる程度はどの程度か？
• RQ4 人間の聴取テストにおいて、MIDI-DDSP の知覚的品質は FluidSynth や DDSP Inference、Ableton などの既存ベースラインと比べてどの程度優れているか？
• RQ5 学習された事前分布を用いて、未観測の新しいノートシーケンスからリアルな音声を生成できるか？

主な発見

• 聴取テストでは、MIDI-DDSP はすべてのベースラインを上回る強い好みを得ており、64名中44名が Ground-truth 音声よりも MIDI-DDSP を好んだ（p = 0.00018）。これは高い知覚的リアリズムを示している。
• 入力制御パラメータと出力音声属性との間に高いピアソン相関（r > 0.7）を達成しており、例としてボリュームでは 0.99、明るさでは 0.96 を記録。制御の忠実度が非常に高いことを示している。
• MIDI-DDSP は DDSP Inference や FluidSynth よりも知覚的好みで顕著に優れており、すべての対比較で p 値 < 0.01（DDSP Inference vs. Ground-truth および MIDI2Params vs. FluidSynth の2つを除く）であった。
• ノートシーケンスから表現的パフォーマンス属性（例：バイブラート、ダイナミクス）を正確に予測できており、バイオリン、チェロ、オboエを含む全テスト楽器で高い相関を示した。
• 表現的属性（例：バイブラートやアタックノイズ）の独立した操作が、知覚的に妥当でリアルな音声を生成できることを確認し、分離性と制御性を裏付けた。
• 訓練済みの事前分布を用いて、新しいノートシーケンスから高精細な音声を生成でき、音楽制作ワークフローにおけるクリエイティブアシスタントとしての実用性を示した。

Figure 2: An example of detailed user control. Given an initial generation from the full MIDI-DDSP model (top), an expert musician can adjust notes (blue), performance attributes (green), and low-level synthesis parameters (yellow) to craft a personalized expression of a musical piece (bottom).