[논문 리뷰] Learning to denoise historical music

Yunpeng Li, Marco Tagliasacchi외 2명|arXiv (Cornell University)|2020. 10. 11.

Music and Audio Processing인용 수 2

한 줄 요약

이 논문은 단기 푸리에 변환(STFT)에서 유도된 복소 스펙트로그램을 기반으로 작동하는 합성곱 신경망(CNN)을 사용하여 고대 음악 녹음물을 노이즈 제거하는 오디오-투-오디오 생성 모델을 제안한다. 깨끗한 음악과 고대 녹음물에서 추출한 실제 노이즈를 조합한 합성 데이터셋으로 훈련된 모델은 양질의 음성 품질을 유지하면서 효과적인 노이즈 제거를 달성하였으며, 정량적 지표와 실제 고대 녹음물에 대한 인간 평가를 통해 검증되었다.

ABSTRACT

We propose an audio-to-audio generative model that learns to denoise old music recordings. Our model internally converts its input into a time-frequency representation by means of a short-time Fourier transform (STFT), and processes the resulting complex spectrogram using a convolutional neural network. The network is trained with both reconstruction and adversarial objectives on a synthetic noisy music dataset, which is created by mixing clean music with real noise samples extracted from quiet segments of old recordings. We evaluate our method quantitatively on held-out test examples of the synthetic dataset, and qualitatively by human rating on samples of actual historical recordings. Our results show that the proposed method is effective in removing noise, while preserving the quality and details of the original music.

연구 동기 및 목표

• 노이즈와 생성 잡음으로 인해 열악한 품질로 손상된 고대 음악 녹음물을 복원하는 문제를 해결하기 위해.
• 원래 음악 콘텐츠와 톤의 세부 사항을 유지하면서 효과적으로 노이즈를 제거할 수 있는 생성 모델을 개발하기 위해.
• 고대 녹음물의 조용한 부분에서 추출한 실제 노이즈를 사용하여 깨끗한 음악과 혼합함으로써 현실적인 합성 노이즈 데이터셋을 생성하기 위해.
• 재구성 손실과 적대적 손실을 모두 사용하여 더 나은 청각적 품질의 노이즈 제거 출력을 얻기 위해 신경망을 훈련하기 위해.
• 합성 테스트 세트에서 정량적 평가와 실제 고대 녹음물에서의 인간 평가를 통해 모델 성능을 평가하기 위해.

제안 방법

• 모델은 오디오 입력을 단기 푸리에 변환(STFT)을 사용하여 복소 스펙트로그램으로 변환한다.
• 합성곱 신경망(CNN)이 복소 스펙트로그램을 처리하여 노이즈 제거 표현을 학습한다.
• 네트워크는 신호 무결성을 유지하기 위한 재구성 손실과 청각적 품질을 향상시키기 위한 적대적 손실을 함께 사용하는 이중 목표로 훈련된다.
• 훈련 데이터셋은 고대 녹음물의 침묵 부분에서 추출한 실제 노이즈 샘플과 깨끗한 음악 트랙을 혼합하여 합성적으로 생성된다.
• 실제 감지 성능과 생성 성능을 동시에 최적화하여 현실감과 노이즈 억제를 향상시키기 위해 종단 간(end-to-end)으로 최적화된다.
• 아키텍처는 복소수 스펙트로그램을 직접 처리하도록 설계되어, 음성 품질에 핵심적인 단계와 진폭 정보를 유지한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델이 원래 음악 콘텐츠를 유지하면서 고대 음악 녹음물을 효과적으로 노이즈 제거할 수 있는가?
• RQ2 재구성과 적대적 훈련을 조합함으로써 기준 모델 대비 청각적 품질이 향상되는 정도는 어떠한가?
• RQ3 고대 녹음물의 조용한 부분에서 추출한 실제 노이즈를 사용함으로써 합성 훈련 데이터의 현실감과 효과성이 얼마나 향상되는가?
• RQ4 훈련 중에 볼 수 없었던 실제 고대 녹음물에서 인간 청취자가 평가했을 때 모델의 성능은 어떠한가?
• RQ5 노이즈 제거와 함께 다이내믹스와 톤 특성과 같은 세부 음향 디테일을 유지하는 데서의 상충 관계는 어떠한가?

주요 결과

• 합성 데이터셋의 보류된 테스트 예제에서 모델은 뚜렷한 노이즈 제거 성능을 보이며 강력한 정량적 성능을 입증하였다.
• 실제 고대 녹음물에 대한 인간 평가를 통해 기준 모델 대비 모델이 청각적으로 열등한 결과를 내는 것으로 확인되었다.
• 재구성과 적대적 훈련의 조합은 더 자연스럽고 잡음이 적은 노이즈 제거 출력을 만들어내었다.
• 침묵 부분에서 추출한 실제 노이즈를 사용함으로써 합성 훈련 데이터의 현실감이 향상되어 실제 고대 녹음물에 대한 일반화 능력이 향상되었다.
• 노이즈 제거 과정에서 다이내믹스, 연주 기교, 톤 특성과 같은 음악적 디테일을 성공적으로 유지하였다.
• 결과적으로 제안된 방법이 청각적으로 들리지 않는 왜곡이나 색채 변화 없이 고대 음성 복원에 효과적임을 시사한다.