[논문 리뷰] Audio inpainting of music by means of neural networks

Andr eacute Marafioti, Nicki Holighaus외 2명|arXiv (Cornell University)|2018. 10. 29.

Music and Audio Processing인용 수 8

한 줄 요약

이 논문은 음악과 악기 음악 신호에서 48–64 ms 간격의 누락된 오디오 세그먼트를 복원하기 위한 컨텍스트 인코더 아키텍처 기반의 딥 네ural 네트워크(DNN)를 제안한다. 이 모델은 부족한 시간-주파수(TF) 계수를 이용하여 복원되며, 이 계수들은 부족한 단기 푸리에 변환(STFT)에서 유도된다. 음악 분야에서 선형 예측 코딩(LPC)에 비해 크기 스펙트로그램 신호 대 잡음비(SNR)에서 모델 성능이 뛰어나, 청각적으로 관련성이 있는 복원을 위한 DNN의 효과성을 입증한다.

ABSTRACT

We studied the ability of deep neural networks (DNNs) to restore missing audio content based on its context, a process usually referred to as audio inpainting. We focused on gaps in the range of tens of milliseconds. The proposed DNN structure was trained on audio signals containing music and musical instruments, separately, with 64-ms long gaps. The input to the DNN was the context, i.e., the signal surrounding the gap, transformed into time-frequency (TF) coefficients. Our results were compared to those obtained from a reference method based on linear predictive coding (LPC). For music, our DNN significantly outperformed the reference method, demonstrating a generally good usability of the proposed DNN structure for inpainting complex audio signals like music.

연구 동기 및 목표

• 문맥 정보를 활용하여 누락된 오디오 세그먼트를 복원하는 딥 네ural 네트워크(DNN)를 개발하는 것.
• 제안된 DNN의 성능을 음악 및 고립된 악기 신호에서 전통적인 LPC 기반 방법과 비교 평가하는 것.
• 모델이 훈련한 것보다 짧은 간격에 대해 일반화 능력을 갖추고 있는지 조사하는 것.
• 시간-주파수 표현의 역행 가능성을 활용하여 강력한 오디오 복원을 가능하게 하는지 탐구하는 것.
• 복잡한 오디오 혼합물에서 향상된 성능를 달성하기 위해 전문화된 모델의 잠재력을 평가하는 것.

제안 방법

• 모델은 시간-주파수 도메인에서 주변 문맥을 기반으로 누락된 크기 스펙트로그램 계수를 예측하기 위해 컨volutional 네ural 네트워크(CNN)와 완전 연결층을 사용한다.
• 입력 특징은 부족한 단기 푸리에 변환(STFT)을 통해 확보된 시간-주파수 계수이며, 시간 도메인 신호 복원을 위해 역행 가능성을 확보한다.
• 네트워크는 크기 스펙트로그램만 복원하도록 훈련되며, 최종 오디오 신호 합성은 단계별로 복원된 위상 정보를 활용한 위상 복원 알고리즘을 사용한다.
• 아키텍처는 문맥 기반 샘플 예측을 통해 비지도 학습 방식으로 훈련되며, 오토인코더와 유사한 컨텍스트 인코더(CE)와 유사한 방식을 따른다.
• 모델은 고립된 악기와 다성음 음악 모두에서 평가되며, 성능 측정은 크기 스펙트로그램 신호 대 잡음비(MS-SNR)를 사용한다.
• 64ms 간격에서 훈련된 출력을 48ms 간격으로 확장하여 일반화 능력을 테스트하며, 전방, 후방, 중심 방향 확장을 사용한다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크는 음악 신호에서 짧은 오디오 간격(48–64 ms)을 복원하는 데 있어 기존의 LPC 기반 방법을 능가할 수 있는가?
• RQ2 고립된 악기와 복잡한 다성음 음악 간에 모델의 성능는 어떻게 달라지는가?
• RQ3 64ms 간격에서 훈련된 모델이 더 짧은 간격(예: 48ms)을 복원하는 데 얼마나 잘 일반화되는가?
• RQ4 부족한 STFT를 사용한 역행 가능한 입력 표현 방식이 강력하고 청각적으로 정확한 오디오 복원을 가능하게 하는가?
• RQ5 특정 장르나 악기에서 훈련된 전문화된 모델이 일반 목적의 모델보다 오디오 인페인팅 작업에서 더 뛰어난 성능을 보일 수 있는가?

주요 결과

• 음악 신호에서 제안된 DNN는 평균 MS-SNR 8.0 dB를 기록하여 LPC 기반 방법(6.9 dB)을 뛰어넘었으며, 이는 더 뛰어난 복원 품질을 의미한다.
• 고립된 악기에서 LPC 기반 방법은 DNN를 능가하여 평균 MS-SNR 33.2 dB를 기록한 반면, DNN는 21.6 dB를 기록했다.
• DNN는 짧은 간격으로의 일반화 능력을 보였다: 64ms에서 훈련된 모델을 사용해 48ms 간격을 복원할 때 전방, 후방, 중심 확장 방식 모두에서 성능이 일관되게 유지되었다.
• DNN가 음악에서 뛰어난 성능를 보이는 것은 LPC가 효과적으로 포착하지 못하는 일시적 사건과 주파수 변조를 모델링할 수 있기 때문이다.
• 모델의 성능는 다양한 간격 확장 전략에서도 안정적이었으며, SNR에 유의미한 감소가 없었으며, 이는 간격 길이 변화에 대한 강건성을 시사한다.
• 초기 테스트 결과에서 네트워크 깊이를 늘리는 데 따른 성능 향상은 미미했으며, 이는 깊이 자체보다 아키텍처 설계와 구성 요소 선택이 더 중요하다는 것을 시사한다.