[論文レビュー] Adversarial Generation of Time-Frequency Features with application in audio synthesis

Andrés Marafioti, Nicki Holighaus+2 more|arXiv (Cornell University)|Feb 11, 2019

Music and Audio Processing被引用数 28

ひとこと要約

本稿では、逆可逆な短時間フーリエ変換（STFT）特徴量を生成することで高品質な音声を合成する、TiFGANと呼ばれる生成対抗ネットワークを提案する。適切に選定されたSTFTパラメータと、信頼性の高い位相なし再構成を可能にする新しい一貫性測定法を活用している。主観的および数値的評価の両方において、波形ベースのGANと比較して優れた性能を示し、音声合成における敵対的時間周波数モデリングの優位性を実証した。

ABSTRACT

Time-frequency (TF) representations provide powerful and intuitive features for the analysis of time series such as audio. But still, generative modeling of audio in the TF domain is a subtle matter. Consequently, neural audio synthesis widely relies on directly modeling the waveform and previous attempts at unconditionally synthesizing audio from neurally generated invertible TF features still struggle to produce audio at satisfying quality. In this article, focusing on the short-time Fourier transform, we discuss the challenges that arise in audio synthesis based on generated invertible TF features and how to overcome them. We demonstrate the potential of deliberate generative TF modeling by training a generative adversarial network (GAN) on short-time Fourier features. We show that by applying our guidelines, our TF-based network was able to outperform a state-of-the-art GAN generating waveforms directly, despite the similar architecture in the two networks.

研究の動機と目的

• 神経ネットワークを用いて逆可逆な時間周波数（TF）特徴量を生成する際の低品質音声合成の課題に対処すること。
• 生成されたTF特徴量から位相なし再構成が信頼的に可能であることを保証するための主要なSTFTパラメータ選定を同定・形式化すること。
• GAN学習中のマグニチュードSTFTの品質を評価するための、計算的に効率の良い新しい一貫性測定法の開発。
• 時間周波数ドメインにおける敵対的生成が、波形ベースの最先端GANを上回る音声合成品質を達成できることを実証すること。
• 音声向けの堅牢で逆可逆なTFベースの生成モデルを訓練するためのガイドラインおよびツールの提供。

提案手法

• 著者らは、STFTの対数マグニチュードと位相微分特徴量を直接生成することで、逆可逆な音声再構成を可能にするGAN、すなわちTiFGANを設計した。
• 連続STFT理論と位相なし再構成の原則に基づき、窓長やハプサイズなどのSTFTパラメータの選定ガイドラインを導出した。
• マグニチュードSTFTの構造的信頼性を評価するための新しい一貫性測定法を導入し、学習中に再構成可能性の可能性を早期に評価できるようにした。
• 最近の位相再構成の進展にインspiredされ、時間方向および周波数方向の位相微分を活用して再構成品質を向上させた。
• 音声および音楽データセット上でエンドツーエンドに学習を行い、生成された位相微分を用いたGriffin-Limに類似したアルゴリズムで再構成を実行した。
• 音声品質の妥当性を検証するため、6名の被験者を用いた主観評価プロトコルと、IS、FID、RSPEなどの数値指標をフレームワークに統合した。

実験結果

リサーチクエスチョン

• RQ1 逆可逆なSTFT特徴量の敵対的生成は、直接波形を生成するGANと比較して、より高品質な音声を生成できるか？
• RQ2 生成された特徴量から位相なし再構成が信頼的に可能であることを保証するSTFTパラメータの選定は何か？
• RQ3 GAN学習中に生成されたマグニチュードSTFTの一貫性をどのように測定・監視できるか？
• RQ4 直接位相を生成するのと比較して、位相微分を用いた再構成は、音声再構成品質をどの程度向上させるか？
• RQ5 TFベースのGANは、主観的および数値的評価の両方において、最先端の波形ベースGANを上回ることができるか？

主な発見

• 聴取テストではTiFGAN-Mが実音声を94％の割合で好まれ、WaveGANは94％の比較でしか好まれなかったのと比べて顕著に優れていた。
• 直接比較において、TiFGAN-MはWaveGAN（75％の好まれ率）およびTiFGAN-MTF（67％の好まれ率）を上回った。
• 数値指標では、TiFGAN-Mが最高のインセプションスコア（IS）とフレシェ音声距離（FID）を達成し、サンプル品質と分布マッチングの両面で優れた性能を示した。
• 一貫性測定法は再構成信頼性を的確に予測でき、実データが最も高い一貫性を示し、次いでTiFGAN-M、TiFGAN-MTFの順であった。
• 生成された位相微分を用いたPGHIによる位相再構成では、相対的射影誤差（RSPE）が-7.5 dBにまで低下し、直接位相生成よりも顕著に優れていた。これは、位相微分モデリングの有効性を裏付けた。
• 強力な性能を示したものの、TiFGAN-MTFはISおよびFIDにおいてWaveGANと比較して混合結果を示し、直接位相生成は依然として有望だが未だ十分に探査されていない分野であることが示唆された。