[論文レビュー] DDX7: Differentiable FM Synthesis of Musical Instrument Sounds

Franco Caspe, Andrew McPherson+1 more|arXiv (Cornell University)|Aug 12, 2022

Music and Audio Processing被引用数 12

ひとこと要約

DDX7は、深層ニューラルネットワークを用いて、軽量で微分可能であるFM音源合成モデルを提案する。このモデルにより、Yamaha DX7シンセサイザーの象徴的音色を、連続的かつ音声駆動で制御可能になる。パッチ制約を課し、音声特徴量からFMパラメータを予測するための因果的TCN（時系列畳み込みネットワーク）を用いることで、わずか6パラメータで高品質な再合成が達成され、より複雑なベースラインと同等またはそれを上回る聴覚的品質を実現しながら、リアルタイム演奏に適した性能を維持する。

ABSTRACT

FM Synthesis is a well-known algorithm used to generate complex timbre from a compact set of design primitives. Typically featuring a MIDI interface, it is usually impractical to control it from an audio source. On the other hand, Differentiable Digital Signal Processing (DDSP) has enabled nuanced audio rendering by Deep Neural Networks (DNNs) that learn to control differentiable synthesis layers from arbitrary sound inputs. The training process involves a corpus of audio for supervision, and spectral reconstruction loss functions. Such functions, while being great to match spectral amplitudes, present a lack of pitch direction which can hinder the joint optimization of the parameters of FM synthesizers. In this paper, we take steps towards enabling continuous control of a well-established FM synthesis architecture from an audio input. Firstly, we discuss a set of design constraints that ease spectral optimization of a differentiable FM synthesizer via a standard reconstruction loss. Next, we present Differentiable DX7 (DDX7), a lightweight architecture for neural FM resynthesis of musical instrument sounds in terms of a compact set of parameters. We train the model on instrument samples extracted from the URMP dataset, and quantitatively demonstrate its comparable audio quality against selected benchmarks.

研究の動機と目的

• Well-establishedなFMシンセサイザー（Yamaha DX7）を、リアルタイム音楽アプリケーション向けに連続的かつ音声ベースで制御すること。
• 微分可能音源合成の訓練中に、標準的なスペクトル再構成損失ではピッチ方向性が欠落している問題を解決すること。
• 高次元パラメータ空間の複雑さを回避し、音声入力からFMパラメータを制御する能力を学習する、軽量で解釈可能なモデルを開発すること。
• 因果的かつリアルタイムの推論能力を維持することで、ライブパフォーマンスへの適合性を確保すること。

提案手法

• モデルは、連続的音声特徴量からFM音源パラメータ（キャリア周波数、モジュレータ周波数、変調指数、エナベルド形状）を予測するための因果的時系列畳み込みネットワーク（TCN）を用いる。
• パッチ制約が適用され、発振器の数とそれらの接続構成が制限され、モデルがコンactかつ音楽的に意味のあるFMアーキテクチャを制御することを学習できるようにする。
• 標準的なスペクトル再構成損失（例：STFT損失）を用いて訓練され、周波数帯域全体における振幅誤差を最小化することに重点を置く。
• FM音源エンジンは完全に微分可能であり、合成プロセス全体を逆伝播可能にすることで、ネットワーク重みの最適化が可能になる。
• 元のDX7のADSRエナベルドは、入力音声から推論される学習可能な時間変動型エナベルドに置き換えられる。
• モデルは、URMPデータセットの楽器固有の構成を用いたFréchet Audio Distance（FAD）とアブレーションスタディを用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 微分可能なFM音源モデルは、わずか少数のパラメータで高品質な再合成を達成しつつ、リアルタイム対応を維持できるか？
• RQ2 FMアーキテクチャにパッチ制約を課すことで、より複雑なベースラインと比較して、複雑なトーンを再構成する能力にどのような影響を与えるか？
• RQ3 DNNが音声入力から意味のあるFMパラメータ（例：変調指数、周波数比、エナベルド形状）を直接推論できる程度はどの程度か？
• RQ4 スペクトル特性が異なる楽器に対して、モデルの性能に差が生じるか。その理由は何か？
• RQ5 DDX7のような軽量で因果的アーキテクチャは、より複雑なモデルに比べて、知覚的品質において優れた性能を示せるか、かつ計算コストを低く抑えられるか？

主な発見

• DDX7はわずか6パラメータで競争力ある再合成品質を達成し、最適な $I_{ ext{max}}$ 設定を用いた場合、フラットとバイオリンにおいて、より複雑な121パラメータベースライン（HpN）をFADスコアで上回る。
• バイオリンとフラットでは、$I_{ ext{max}} = 2$ が最良のFAD性能を示し、トランペットでは $I_{ ext{max}} = 2\pi$ が最適であることが判明し、楽器ごとに最適な変調指数範囲が存在することが示された。
• バイオリンとフラットでは、6発振器構成が2発振器構成を上回る性能を示し、これらの楽器では発振器の自由度が高まることで再構成品質が向上することが示された。
• トランペットでは、2発振器構成が4発振器および6発振器バージョンを上回り、モデルの複雑さが必ずしも性能向上に繋がらず、最適でないパッチ設計によって制限される可能性があることを示唆した。
• 2発振器トランペットモデルでさえ、HpNベースラインをFADスコアで上回り、最小限のパrameter化で高品質な再合成が可能であることを示した。
• パrameter $I_{ ext{max}}$ を高すぎると、不自然なトーンや劣悪な部屋応答推定が生じ、不安定化の兆候が見られた。これは、ハイパーパrameterの慎重な調整の必要性を示唆している。