[논문 리뷰] Generative adversarial network-based approach to signal reconstruction from magnitude spectrograms

K. Oyamada, Hirokazu Kameoka외 4명|arXiv (Cornell University)|2018. 04. 06.

Image and Signal Denoising Methods참고 문헌 2인용 수 5

한 줄 요약

이 논문은 반복적인 Griffin-Lim 알고리즘을 회피하여 크기 스펙트로그램에서 고품질의 타임도메인 오디오 신호를 복원하기 위한 GAN 기반 딥러닝 방법을 제안한다. 생성자 네트워크를 적대적 손실로 훈련시켜 누락된 위상 정보를 추론함으로써, 더 빠르고 고해상도의 복원을 달성한다. 이는 GPU 가속을 통해 속도와 청취 품질 측면에서 Griffin-Lim을 모두 능가한다.

ABSTRACT

In this paper, we address the problem of reconstructing a time-domain signal (or a phase spectrogram) solely from a magnitude spectrogram. Since magnitude spectrograms do not contain phase information, we must restore or infer phase information to reconstruct a time-domain signal. One widely used approach for dealing with the signal reconstruction problem was proposed by Griffin and Lim. This method usually requires many iterations for the signal reconstruction process and depending on the inputs, it does not always produce high-quality audio signals. To overcome these shortcomings, we apply a learning-based approach to the signal reconstruction problem by modeling the signal reconstruction process using a deep neural network and training it using the idea of a generative adversarial network. Experimental evaluations revealed that our method was able to reconstruct signals faster with higher quality than the Griffin-Lim method.

연구 동기 및 목표

• 위상 정보가 없는 크기 스펙트로그램에서 타임도메인 오디오 신호를 복원하는 문제에 대응한다.
• 느린 수렴과 일관성 없는 오디오 품질 등의 문제로 인해 제한되는 Griffin-Lim 방법의 한계를 극복한다.
• 딥 네트워크를 활용한 학습 기반 접근법을 통해 위상 복원 과정을 더 효율적으로 모델링한다.
• 생성 적대적 네트워크(GANs)를 활용하여 데이터로부터 현실적인 위상 패턴을 학습함으로써 청취 품질을 향상시킨다.
• 학습 데이터에 음성 데이터만 포함되어 있음에도 불구하고, 예측되지 않은 오디오 유형(예: 음악)으로의 일반화 능력을 입증한다.

제안 방법

• 크기 스펙트로그램에서 타임도메인 신호로의 매핑을 위해 생성자 네트워크를 훈련시켜 누락된 위상 성분을 추론한다.
• 생성자와 진짜 신호와 생성된 신호를 구분하는 디스커리미네이터를 갖춘 GAN 프레임워크를 사용한다.
• 적대적 훈련 기반의 청취 품질 손실을 활용하여 고품질 위상 복원 메트릭을 암묵적으로 학습한다.
• 학습 스펙트로그램의 위상을 무작위로 이동시켜 생성자가 프레임 간 위상 일관성을 학습할 수 있도록 데이터 증강을 적용한다.
• 실수 신호의 스펙트럼 대칭성을 활용하기 위해 생성자의 입력과 출력을 뉴이퀀트 주파수 범위(0에서 fs/2까지)로 제한한다.
• 특징 학습과 신호 복원을 위해 스트라이드 컨볼루션과 트랜스포지드 컨볼루션을 사용한 U-Net 유사 아키텍처로 생성자를 구현한다.

실험 결과

연구 질문

• RQ1 GAN 기반 딥러닝 모델이 크기 스펙트로그램에서 고해상도 오디오 신호를 복원하는 데 있어 Griffin-Lim 알고리즘을 능가할 수 있는가?
• RQ2 제안된 GAN 기반 방법은 청취 품질을 유지하거나 향상시키면서도 더 빠른 복원 시간을 달성할 수 있는가?
• RQ3 학습 데이터에 포함되지 않은 오디오 유형(예: 음악)에 대해서도 모델이 일반화할 수 있는가?
• RQ4 기존 최적화 기반 방법 대비 적대적 훈련이 현실적인 위상 패턴을 학습하는 데 얼마나 효과적인가?
• RQ5 데이터 증강이 모델의 프레임 간 위상 연속성 학습 능력에 미치는 영향은 무엇인가?

주요 결과

• 주관적 AB 테스트에서 제안된 GAN 기반 방법은 Griffin-Lim보다 76%의 선호도를 기록했으며, 400회 반복 후에 유의미하게 뛰어난 성능을 보였다.
• GPU를 사용할 경우 제안된 방법의 복원 속도는 Griffin-Lim 대비 약 10배 빠르며, 실시간 추론이 가능했다.
• 학습 중에 볼 수 없었던 음악 신호에 대해서도 모델이 잘 일반화되어, Griffin-Lim 출력에서 흔히 볼 수 있는 불연속성 없이 매끄러운 웨이브폼을 생성했다.
• 음성 데이터만으로 학습된 상태에서도 모델은 음악 신호를 청취적으로 자연스럽게 복원하는 데 성공했다.
• GPU를 사용할 경우 제안된 방법의 처리 시간은 신호 길이에 비례하여 선형적으로 증가했으며, 신호 길이의 약 1/10 수준이었다.
• CPU에서는 제안된 방법의 처리 시간이 신호 길이의 약 3배 정도 소요되어, 실시간 CPU 배포를 위해 모델 압축이 필요하다는 점을 시사했다.