[논문 리뷰] Bandwidth Extension on Raw Audio via Generative Adversarial Networks

Sung Hoon Kim, Visvesh Sathe|arXiv (Cornell University)|2019. 03. 21.

Advanced Image Processing Techniques참고 문헌 26인용 수 21

한 줄 요약

이 논문은 레이블이 없는 데이터나 사전 학습된 분류기 없이도 작동하는 컨volution 오토인코더에서 유도된 비지도 특징 손실을 사용하는 GAN 기반 오디오 슈퍼레졸루션 방법을 제안한다. 이 방법은 음성 및 음악 작업 모두에서 객관적이고 주관적인 품질 측면에서 최신 기술 수준의 성능을 달성하며, 기준 방법에 비해 고주파 성분 복원이 향상되고 잡음이 감소한 것으로 나타났다.

ABSTRACT

Neural network-based methods have recently demonstrated state-of-the-art results on image synthesis and super-resolution tasks, in particular by using variants of generative adversarial networks (GANs) with supervised feature losses. Nevertheless, previous feature loss formulations rely on the availability of large auxiliary classifier networks, and labeled datasets that enable such classifiers to be trained. Furthermore, there has been comparatively little work to explore the applicability of GAN-based methods to domains other than images and video. In this work we explore a GAN-based method for audio processing, and develop a convolutional neural network architecture to perform audio super-resolution. In addition to several new architectural building blocks for audio processing, a key component of our approach is the use of an autoencoder-based loss that enables training in the GAN framework, with feature losses derived from unlabeled data. We explore the impact of our architectural choices, and demonstrate significant improvements over previous works in terms of both objective and perceptual quality.

연구 동기 및 목표

• 레이블이 있는 데이터셋이나 보조 분류기 의존 없이 GAN을 오디오 슈퍼레졸루션에 훈련시키는 과제를 해결하기 위해.
• 주관적 및 객관적 오디오 품질을 향상시키는 비지도 엔드 투 엔드 딥 러닝 아키텍처를 개발하기 위해.
• 오토인코더 기반 비지도 특징 손실을 도입하여 GAN 훈련의 안정성과 복원 정밀도를 향상시키기 위해.
• 다양한 오디오 도메인(음성 및 음악 포함)에서 다양한 업샘플링 비율에서의 성능을 입증하기 위해.
• 모델 깊이, 손실 구성요소, 아키텍처 선택 사항이 성능에 미치는 영향을 분석하는 상세한 아블레이션 스터디를 제공하기 위해.

제안 방법

• 이 방법은 잔차 블록과 확장 컨volution을 사용하는 U-Net 유사 인코더-디코더 아키텍처인 MU-GAN을 사용하여 원시 오디오 슈퍼레졸루션에 특화된 설계를 한다.
• 사전 훈련된 컨volution 오토인코더에서 파생된 새로운 비지도 특징 손실을 도입하며, 이 손실은 오토인코더의 볼트넥 레이어에서 추출한 중간 특징 표현을 기반으로 한다.
• 이 특징 손실은 오토인코더의 잠재 공간에서 고해상도 오디오와 재구성된 오디오 간의 주관적 유사도를 측정하며, 기존의 분류기 기반 손실을 대체한다.
• 훈련은 적대적 손실, 원시 웨이브폼에 대한 L2 손실, 그리고 제안된 비지도 특징 손실의 조합을 사용하여 훈련 안정성과 현실감 향상을 도모한다.
• 특징 손실을 위한 오토인코더는 레이블이 없는 오디오 데이터로 훈련되며, 도메인 특화된 레이블 없이도 다양한 오디오 콘텐츠에 일반화 가능하게 한다.
• 이 프레임워크는 R=2에서 R=6까지의 업샘플링 비율을 지원하며, 각 손실 구성요소와 모델 깊이의 기여도를 평가하는 아블레이션 스터디가 포함되어 있다.

실험 결과

연구 질문

• RQ1 레이블이 없는 데이터나 사전 학습된 분류기가 없는 GAN 기반 오디오 슈퍼레졸루션 모델이 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 분류기 기반 특징 손실과 비교해 볼 때, 오토인코더에서 파생된 비지도 특징 손실은 오디오 품질과 훈련 안정성 측면에서 어떻게 성능을 발휘하는가?
• RQ3 모델 깊이와 손실 구성요소(적대적, L2, 특징)가 고해상도 업샘플링 비율에서 주관적 및 객관적 오디오 품질에 어떤 영향을 미치는가?
• RQ4 기존 기준 방법에 비해 제안된 방법이 고주파 성분 복원을 어떻게 크게 향상시키는가?
• RQ5 비지도 특징 손실이 오디오 생성 작업에서 GAN 훈련을 효과적으로 안정화시키며 잡음과 과도한 부드러움을 줄이는 데 기여하는가?

주요 결과

• 제안된 비지도 특징 손실은 레이블이 전혀 없는 조건에서도 VGG 기반 분류기 기반 손실과 비슷하거나 약간 뛰어난 성능을 달성했으며, 이는 레이블이 없는 데이터가 필요 없음에도 불구하고 성능을 유사하게 유지함을 의미한다.
• R=6일 때, MU-GAN8 모델은 MOS-LQO 점수 3.21을 기록했으며, 이는 U-net8 기준 모델이 R=4일 때 3.17, R=6일 때 3.07을 기록한 것에 비해 뚜렷이 높은 성능을 보였다.
• 아블레이션 스터디 결과, 얕은 MU-GAN4 모델에 적대적 손실과 비지도 특징 손실을 추가함으로써 R=4에서 MOS-LQO 점수가 3.15에서 3.79로 향상되었으며, 이는 이러한 손실들이 부족한 학습을 막는 데 효과적임을 보여준다.
• 제안된 손실을 사용하여 R=2일 때 SNR은 21.40 dB, R=6일 때는 13.98 dB를 기록하여 업샘플링 비율에 관계없이 일관된 성능을 보였다.
• A/B 사용자 스터디에서, 피아노 작업에서는 15번의 비교 중 14번에서 MU-GAN8이 U-net8을 앞서며 강력한 주관적 우월성을 입증했으며, 화자 작업에서는 15번 모두에서 승리했다.
• 스펙트로그램 분석 결과, MU-GAN8이 고주파 성분을 더 잘 복원함을 확인했으며, 특히 'k'와 's'와 같은 파열음에서는 기준 출력에 비해 자주 둔탁하거나 흐릿해지는 경향이 있었던 것이 개선되었다.