[論文レビュー] Generative timbre spaces: regularizing variational auto-encoders with perceptual metrics

Philippe Esling, Axel Chemla--Romeu-Santos+1 more|arXiv (Cornell University)|May 22, 2018

Music and Audio Processing参考文献 16被引用数 20

ひとこと要約

本稿では、音色知覚研究における人間の類似度評価を組み込み、音色の連続的かつ可逆的な潜在空間を学習する知覚的に正則化された変分オートエンコーダー（VAE）を提案する。非定常ガボール変換（NSGT）とt-SNEにインspiredされた正則化を用いることで、高精細な音声合成、未知の楽器への一般化、および記述子に基づく経路合成を実現するとともに、知覚的関係を保持する。

ABSTRACT

Timbre spaces have been used in music perception to study the perceptual relationships between instruments based on dissimilarity ratings. However, these spaces do not generalize to novel examples and do not provide an invertible mapping, preventing audio synthesis. In parallel, generative models have aimed to provide methods for synthesizing novel timbres. However, these systems do not provide an understanding of their inner workings and are usually not related to any perceptually relevant information. Here, we show that Variational Auto-Encoders (VAE) can alleviate all of these limitations by constructing generative timbre spaces. To do so, we adapt VAEs to learn an audio latent space, while using perceptual ratings from timbre studies to regularize the organization of this space. The resulting space allows us to analyze novel instruments, while being able to synthesize audio from any point of this space. We introduce a specific regularization allowing to enforce any given similarity distances onto these spaces. We show that the resulting space provide almost similar distance relationships as timbre spaces. We evaluate several spectral transforms and show that the Non-Stationary Gabor Transform (NSGT) provides the highest correlation to timbre spaces and the best quality of synthesis. Furthermore, we show that these spaces can generalize to novel instruments and can generate any path between instruments to understand their timbre relationships. As these spaces are continuous, we study how audio descriptors behave along the latent dimensions. We show that even though descriptors have an overall non-linear topology, they follow a locally smooth evolution. Based on this, we introduce a method for descriptor-based synthesis and show that we can control the descriptors of an instrument while keeping its timbre structure.

研究の動機と目的

• 知覚的音色空間と生成的音声モデルの間のギャップを埋めるために、共通の潜在空間で合成と解析を可能にする。
• 従来の音色空間の限界（一般化性と可逆性の欠如）を克服するため、連続的かつ微分可能な潜在表現を学習する。
• 音声記述子の制御を維持しながら、知覚的滑らかさと音色構造を保ちつつ、合成中に記述子を制御可能にする。
• 潜在空間における再構成品質と知覚的整合性を最適化するため、スペクトル変換（STFT、DCT、NSGT）を評価・比較する。
• 訓練中に見られなかった楽器への一般化と、目的の記述子経路に従って誘導される経路ベースの合成を実証する。

提案手法

• 異なるスペクトル変換を入力表現として用い、楽器のスペクトルフレームから潜在空間を学習するVAEを適応する。
• 5つの独立した音色知覚研究から得られた人間の類似度評価と一致するように、t-SNEにインspiredされた新しい知覚的正則化損失を適用する。
• 非定常ガボール変換（NSGT）を、優れた再構成品質と知覚的相関性のおかげで最適な入力変換として採用する。
• 少量のスペクトルフレームデータセット上でVAEを学習させ、高品質な音声生成を実現する高速でリソース効率の良い学習を可能にする。
• 目的の記述子の変化（例：スペクトル重心、帯域幅）に一致するように潜在点を最適化する記述子ベースの経路合成アルゴリズムを導入するが、局所的な滑らかさを維持する。
• 学習された潜在空間を用いて、新しい楽器を符号化し、それらの知覚的類似度を予測し、連続的な音色の混合を生成する。

実験結果

リサーチクエスチョン

• RQ1 知覚的類似度評価を用いてVAEを正則化することで、知覚的関係を保持する生成的音色空間を構築できるか？
• RQ2 STFT、DCT、NSGTのうち、どのスペクトル変換が潜在空間における再構成品質と知覚的整合性で最高の性能を示すか？
• RQ3 学習された潜在空間は、訓練時に見られなかった新しい楽器へ一般化できるか？
• RQ4 従来の音声記述子は潜在次元に沿ってどのように振る舞い、制御された合成に利用できるか？
• RQ5 目的の記述子経路に従って潜在経路を誘導することで、知覚的に滑らかな音色の遷移を合成できるか？

主な発見

• 非定常ガボール変換（NSGT）は、知覚的音色空間との相関が最も高く、評価された変換の中で最高の音声再構成品質を達成した。
• 知覚的に正則化されたVAEは、人間の類似度評価に見られる楽器間の相対的距離関係を保持する潜在空間を学習した。
• 訓練時に見られなかった楽器のサンプルを符号化することで、本モデルは新たな楽器への一般化に成功した。これにより、新たな評価なしにその知覚的類似度を予測可能となった。
• スペクトル重心や帯域幅といった音声記述子は、非線形なグローバルトポロジーを持つにもかかわらず、潜在次元に沿って局所的に滑らかに変化する傾向を示した。
• 提案された記述子ベースの経路合成アルゴリズムは、目的の記述子形状に一致する音声経路を成功裏に生成し、知覚的滑らかさと音色構造を維持した。
• 本手法により、単一のソース楽器から、直感的で記述子誘導型の音声生成が可能となり、特定の音色的特性を合成中に制御できるようになった。