[논문 리뷰] Catch-A-Waveform: Learning to Generate Audio from a Single Short Example

Gal Greshler, Tamar Rott Shaham외 1명|arXiv (Cornell University)|2021. 06. 11.

Music and Audio Processing참고 문헌 48인용 수 5

한 줄 요약

이 논문은 사전 훈련이나 외부 감독 없이 단일 짧은 오디오 예제(최소 20초)에서 고품질이고 다양한 오디오 샘플을 생성하는 GAN 기반 모델인 Catch-A-Waveform(CAW)을 제안한다. 이 모델은 입력 웨이브폼의 통계적 구조를 학습하며, 오디오 복원, 초해상도, 노이즈 제거 등의 응용을 가능하게 하며, 최소한의 데이터로도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Models for audio generation are typically trained on hours of recordings. Here, we illustrate that capturing the essence of an audio source is typically possible from as little as a few tens of seconds from a single training signal. Specifically, we present a GAN-based generative model that can be trained on one short audio signal from any domain (e.g. speech, music, etc.) and does not require pre-training or any other form of external supervision. Once trained, our model can generate random samples of arbitrary duration that maintain semantic similarity to the training waveform, yet exhibit new compositions of its audio primitives. This enables a long line of interesting applications, including generating new jazz improvisations or new a-cappella rap variants based on a single short example, producing coherent modifications to famous songs (e.g. adding a new verse to a Beatles song based solely on the original recording), filling-in of missing parts (inpainting), extending the bandwidth of a speech signal (super-resolution), and enhancing old recordings without access to any clean training example. We show that in all cases, no more than 20 seconds of training audio commonly suffice for our model to achieve state-of-the-art results. This is despite its complete lack of prior knowledge about the nature of audio signals in general.

연구 동기 및 목표

• 대규모 데이터셋이나 외부 감독 없이 단일 짧은 오디오 예제에서 오디오 통계를 학습하는 생성 모델을 개발하는 것.
• 입력과 의미적으로 유사한 다양한 오디오 생성을 가능하게 하며, 새로운 즉흥 연주, 노래의 수정된 버전, 향상된 신호를 포함하는 것.
• 단지 20초의 오디오로 훈련해도 복원 및 대역폭 확장과 같은 작업에서 수시간의 데이터로 훈련된 모델을 능가할 수 있음을 보여주는 것.
• 청결하거나 쌍방향 훈련 데이터에 접근할 수 없어도 오디오 복원, 초해상도, 노이즈 제거 등의 응용을 가능하게 하는 것.
• 대규모 데이터셋이 오디오 생성에 필수적이라는 가정을 도전하며, 최소한의 데이터에서 복잡한 오디오 구조를 학습할 수 있는 가능성을 탐색하는 것.

제안 방법

• 모델은 시간 도메인에서 직접 웨이브폼을 생성하는 다중 척도(raw-audio) GAN 아키텍처를 사용하며, 스펙트럼 또는 잠재 공간 표현이 필요 없도록 한다.
• 다양한 시간 해상도에서 청각적 품질을 강제하기 위해 다중 척도 디스crimิน레이터를 사용하며, 신호 특성에 따라 피라미드 수준을 적응적으로 선택한다.
• 재구성 손실이 훈련 목표에 포함되어 있으며, 이는 노이즈 가정 하에 생성기가 입력 웨이브폼을 재구성하도록 유도하여 자기 감독식 노이즈 제거를 가능하게 한다.
• 사전 훈련이나 외부 감독 없이 단일 짧은 원시 오디오 클립(예: 20초)에서 엔드 투 엔드로 훈련된다.
• 입력의 저주파 성분에 조건을 줌으로써 생성기를 조건부로 만들며, 생성 출력의 구조적 제어를 가능하게 한다.
• 적응형 손실 가중치와 노이즈 주입을 아키텍처에 통합하여 훈련 안정성과 샘플 다양성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델은 외부 감독 없이 단일 짧은 오디오 예제(최소 20초)에서 의미 있는 오디오 통계를 학습할 수 있는가?
• RQ2 단일 예제로 훈련한 모델이 복원 및 초해상도와 같은 작업에서 대규모 데이터셋으로 훈련된 모델보다 성능이 뛰어나게 되는가?
• RQ3 언어나 화성 구조 없이도 의미적으로 일관되고 다양한 오디오 샘플을 생성할 수 있으며, 청각적으로 현실감 있는가?
• RQ4 청결한 훈련 데이터에 접근하지 못한 상태에서 자기 감독식 노이즈 제거를 어느 정도 수행할 수 있는가?
• RQ5 단 한 번의 녹음만으로도 새로운 음악 즉흥 연주나 기존 곡의 수정된 버전을 생성하는 데 사용할 수 있는가?

주요 결과

• 단지 20초의 훈련 데이터로도 CAW는 복원 및 대역폭 확장에서 최신 기술 수준의 성능을 달성했으며, 8시간의 데이터로 훈련된 모델보다도 뛰어난 성능을 보였다.
• 사용자 선호도 연구에서, 평가자들은 CAW가 생성한 오디오 완성도 GACELA의 것보다 50%의 경우에서 선호되었으며, 실재 신호와 비교해도 CAW의 선호도가 높게 유지되어 청각적 현실감을 입증했다.
• 노이즈 제거 작업에서는 CAW가 합성된 노이즈가 있는 녹음(화이트 노이즈 및 기록기 노이즈)에서 신호 대 잡음비(SNR)를 1.5–4 dB 향상시켰으며, 각각 5 dB SNR에서 4.78 dB와 1.56 dB의 향상을 기록했다.
• 원본이 없는 청결한 기준 없이도 역사적 녹음(예: 1903년 바이올린 녹음)을 성공적으로 노이즈 제거했으며, 원본보다 청각적으로 더 깔끔한 출력을 생성했다.
• 최소한의 데이터에도 불구하고, 단일 20초 예제에서 새로운 재즈 즉흥 연주와 아카펠라 랩 변형과 같은 다양한 구조적으로 일관된 샘플을 생성했다.
• 모델의 성능은 말하기, 음악, 악기 녹음 등 다양한 도메인에서 뛰어나며, 도메인 특화 적응이 필요 없었다.