[논문 리뷰] Autoencoders for music sound synthesis: a comparison of linear, shallow, deep and variational models.

Fanny Roche, Thomas Hueber외 2명|arXiv (Cornell University)|2018. 06. 11.

Music and Audio Processing참고 문헌 13인용 수 8

한 줄 요약

이 논문은 NSynth 데이터셋에서 음악 사운드 스펙트럼을 압축하고 재합성하기 위해 선형(PCA), 얕은 오토인코더(AE), 딥 오토인코더(DAE), 변동형 오토인코더(VAE)를 비교한다. 결과적으로 PCA는 재구성 성능에서 얕은 AE를 능가하지만, 오직 딥 아키텍처(DAE)만이 더 낮은 재구성 오차를 달성하며, VAE는 더 높은 정규화를 받음에도 불구하고 더 나은 분리된 잠재 표현을 제공해 PCA를 능가한다.

ABSTRACT

This study investigates the use of non-linear unsupervised dimensionality reduction techniques to compress a music dataset into a low-dimensional representation, and its use for the synthesis of new sounds. We systematically compare (shallow) autoencoders (AE) and deep autoencoders (DAE) with principal component analysis (PCA) for representing the high-resolution short-term amplitude spectrum of a large and dense dataset of music notes into a lower-dimensional vector (and then convert it back to a synthetic amplitude spectrum used for sound resynthesis). In addition, we report results obtained with variational autoencoders (VAE) which to our knowledge have never been considered for processing musical sounds. Our experiments were conducted on the publicly available multi-instrument and multi-pitch database NSynth. Interestingly and contrary to the recent literature on image processing, they showed that PCA systematically outperforms shallow AE and that only a deep architecture (DAE) can lead to a lower reconstruction error. The optimization criterion in deep VAE being the sum of the reconstruction error and a regularization term, it naturally leads to a lower reconstruction accuracy than DAE but we show that VAEs are still able to outperform PCA while providing a low-dimensional latent space with nice usability properties.

연구 동기 및 목표

• 음악 사운드 표현 및 합성을 위한 비선형 비지도 차원 축소 기법 평가
• 고해상도 볼륨 스펙트럼 재구성에서 PCA, 얕은 AE, 딥 AE, VAE의 성능 비교
• 이전에 음악 사운드 처리에서 탐색되지 않은 변동형 오토인코더(VAE)가 잠재 공간 품질 및 합성 용이성에서 이점이 있는지 조사
• 음악 합성에 적합한 잠재 공간 표현에서 재구성 정확도와 분리도 사이의 트레이드오프 규명

제안 방법

• 연구는 다이내믹 인스트루먼트, 다양한 테너의 음악적 음절의 단기 볼륨 스펙트럼에 초점을 맞춘 NSynth 데이터셋을 사용한다.
• 주성분 분석(PCA)은 차원 축소 및 재구성의 선형 기준으로 적용된다.
• 얕은 오토인코더와 딥 오토인코더(AE 및 DAE)는 볼륨 스펙트럼을 낮은 차원의 잠재 공간으로 압축하고 재구성하도록 훈련된다.
• 변동형 오토인코더(VAE)는 재구성 기법과 KL 발산 정규화 항을 사용하여 분리되고 부드러운 잠재 표현을 장려하도록 구현된다.
• 재구성 품질은 원본과 재구성된 볼륨 스펙트럼 간의 평균 제곱오차(MSE)를 사용해 평가된다.
• 잠재 공간의 사용성은 VAE의 보간 및 생성 능력을 분석함으로써 정성적으로 평가된다.

실험 결과

연구 질문

• RQ1 딥 오토인코딩(DAE)은 얕은 오토인코더(AE)와 PCA보다 음악 스펙트럼 데이터에서 더 낮은 재구성 오차를 달성하는가?
• RQ2 정규화에 의해 재구성 편향이 발생하는 변동형 오토인코더(VAE)는 여전히 고품질의 합성 사운드를 생성할 수 있는가?
• RQ3 음악 사운드 합성에서 VAE의 잠재 공간의 분리도와 사용성은 PCA 및 AE와 비교해 어떻게 되는가?
• RQ4 왜 비록 비선형 방법임에도 불구하고 얕은 AE보다 PCA가 재구성에서 더 우수한 성능을 내는가?
• RQ5 다양한 오토인코더 변종에서 음악 사운드 모델링에 적합한 잠재 공간 표현에서 재구성 정확도와 구조 간의 트레이드오프는 어떠한가?

주요 결과

• PCA는 NSynth 데이터셋에서 재구성 오차 측면에서 항상 얕은 오토인코더(AE)를 능가한다.
• 오직 딥 오토인코더(DAE)만이 PCA보다 더 낮은 재구성 오차를 달성하며, 이는 최적의 스펙트럼 재구성에 더 깊은 아키텍처가 필요함을 시사한다.
• 변동형 오토인코더(VAE)는 일반적으로 재구성 정확도를 낮추는 정규화 항이 존재함에도 불구하고, PCA보다 더 낮은 재구성 오차를 달성한다.
• VAE는 의미 있는 보간 및 사운드 생성을 가능하게 하는 분리되고 부드러운 잠재 공간을 생성하여 합성 작업의 사용성 향상을 이룬다.
• 최근 영상 처리 분야의 추세와는 정반대로 비선형 방법이 선형 방법을 능가하는 경향이 있으나, 이 연구에서는 PCA가 여전히 음악 스펙트럼 데이터에 매우 효과적임을 보여준다.
• 이 연구는 VAE가 DAE에 비해 재구성 품질과 잠재 공간 구조의 균형을 잘 맞추며 음악 사운드 합성에 실용적인 대안이 될 수 있음을 입증한다.