[論文レビュー] Autoencoders for music sound synthesis: a comparison of linear, shallow, deep and variational models.

Fanny Roche, Thomas Hueber+2 more|arXiv (Cornell University)|Jun 11, 2018

Music and Audio Processing参考文献 13被引用数 8

ひとこと要約

この論文は、NSynthデータセットからの音楽音響スペクトルの圧縮および再合成のために、線形（PCA）、浅層自己符号化器（AE）、深層自己符号化器（DAE）、変分自己符号化器（VAE）を比較している。PCAは浅層AEを上回る再構成性能を示すが、再構成誤差を最も低くするのは深層アーキテクチャ（DAE）であり、正則化が強いにもかかわらずVAEはPCAを上回り、より分離可能な潜在表現を提供することがわかった。

ABSTRACT

This study investigates the use of non-linear unsupervised dimensionality reduction techniques to compress a music dataset into a low-dimensional representation, and its use for the synthesis of new sounds. We systematically compare (shallow) autoencoders (AE) and deep autoencoders (DAE) with principal component analysis (PCA) for representing the high-resolution short-term amplitude spectrum of a large and dense dataset of music notes into a lower-dimensional vector (and then convert it back to a synthetic amplitude spectrum used for sound resynthesis). In addition, we report results obtained with variational autoencoders (VAE) which to our knowledge have never been considered for processing musical sounds. Our experiments were conducted on the publicly available multi-instrument and multi-pitch database NSynth. Interestingly and contrary to the recent literature on image processing, they showed that PCA systematically outperforms shallow AE and that only a deep architecture (DAE) can lead to a lower reconstruction error. The optimization criterion in deep VAE being the sum of the reconstruction error and a regularization term, it naturally leads to a lower reconstruction accuracy than DAE but we show that VAEs are still able to outperform PCA while providing a low-dimensional latent space with nice usability properties.

研究の動機と目的

• 音楽音響表現および合成のための非線形な非教師あり次元削減手法を評価すること。
• PCA、浅層AE、深層AE、VAEの再構成性能を、高分解能の音符の振幅スペクトル再構成において比較すること。
• 音楽音響処理においてこれまで未調査であった変分自己符号化器（VAE）が、潜在空間の質および合成用途での使いやすさにおいて利点を提供するかを調査すること。
• 音楽合成における再構成精度と潜在空間の構造のトレードオフを特定すること。

提案手法

• 研究では、マルチインストルメント・マルチピッチの音符の短時間振幅スペクトルに焦点を当てたNSynthデータセットを用いる。
• 次元削減と再構成のための線形ベースラインとして主成分分析（PCA）を適用する。
• 浅層および深層自己符号化器（AEおよびDAE）を、振幅スペクトルを低次元潜在空間に圧縮し、再構成するように訓練する。
• 再構成のための再パラメータ化トリックとKLダイバージェンス正則化項を用いた変分自己符号化器（VAE）を実装し、分離可能で滑らかな潜在表現を促進する。
• 再構成品質は、元の振幅スペクトルと再構成されたスペクトルの間の平均二乗誤差（MSE）を用いて評価する。
• 潜在空間の使いやすさは、VAEにおける補間および生成能力の定性的な分析を通じて評価する。

実験結果

リサーチクエスチョン

• RQ1 深層自己符号化（DAE）は、音響スペクトルデータにおいて、浅層自己符号化（AE）およびPCAよりも低い再構成誤差を達成するか？
• RQ2 正則化に起因する再構成バイアスがあるにもかかわらず、変分自己符号化器（VAE）は高品質な合成音声を生成できるか？
• RQ3 音楽音声合成において、VAEの潜在空間の分離性と使いやすさは、PCAおよびAEと比べてどうか？
• RQ4 AEが非線形手法であるにもかかわらず、なぜPCAは浅層AEを再構成性能で上回るのか？
• RQ5 音楽音響モデリングにおける、さまざまな自己符号化器のバリエーションにおいて、再構成精度と潜在空間構造のトレードオフは何か？

主な発見

• PCAはNSynthデータセットにおいて、常に浅層自己符号化器（AE）よりも再構成誤差が低い。
• 再構成誤差をPCA未満に抑えるのは、唯一深層自己符号化器（DAE）である。これは、最適なスペクトル再構成には深いアーキテクチャが必要であることを示している。
• VAEは正則化項のため再構成精度が低下する傾向にあるにもかかわらず、PCAを下回る再構成誤差を達成している。
• VAEは意味的な補間や音声生成を可能にする、分離可能で滑らかな潜在空間を生成しており、合成タスクにおける使いやすさが向上している。
• 最近の画像処理分野のトレンドとは対照的に、非線形手法が線形手法を上回る傾向にあるが、音楽スペクトルデータではPCAが依然として非常に有効であることが示された。
• 本研究では、VAEがDAEの代替として音楽音声合成に有効であることが示された。再構成品質と潜在空間構造の両立を図る上で、バランスの取れた選択肢である。