[논문 리뷰] Solving Audio Inverse Problems with a Diffusion Model

Eloi Moliner, Jaakko Lehtinen외 1명|arXiv (Cornell University)|2022. 10. 27.

Music and Audio Processing인용 수 4

한 줄 요약

이 논문은 다양한 오디오 역문제—대역폭 확장, 인paint링, 딜클립핑—을 재학습 없이 해결할 수 있도록 상수Q변환(CQT)의 톤-등변성 구조를 활용하는 확산 기반 생성 모델인 CQT-Diff를 소개한다. 역행성 CQT로 확산 모델을 전처리함으로써, 대역폭 확장에서 최고 성능을 기록하고, 인paint링과 딜클립핑에서도 경쟁력 있는 결과를 도출한다. 이는 확산 모델을 사용한 오디오 복원을 위한 첫 번째 일반화된, 문제에 종속되지 않는 프레임워크를 보여준다.

ABSTRACT

This paper presents CQT-Diff, a data-driven generative audio model that can, once trained, be used for solving various different audio inverse problems in a problem-agnostic setting. CQT-Diff is a neural diffusion model with an architecture that is carefully constructed to exploit pitch-equivariant symmetries in music. This is achieved by preconditioning the model with an invertible Constant-Q Transform (CQT), whose logarithmically-spaced frequency axis represents pitch equivariance as translation equivariance. The proposed method is evaluated with objective and subjective metrics in three different and varied tasks: audio bandwidth extension, inpainting, and declipping. The results show that CQT-Diff outperforms the compared baselines and ablations in audio bandwidth extension and, without retraining, delivers competitive performance against modern baselines in audio inpainting and declipping. This work represents the first diffusion-based general framework for solving inverse problems in audio processing.

연구 동기 및 목표

• 단일 미리 훈련된 생성 모델을 사용하여 다양한 오디오 역문제를 통합하고 문제에 종속되지 않는 프레임워크를 개발하기 위해.
• 기존 방법들이 특정 훼손 유형에 맞춰져 있고 작업별로 별도의 훈련이 필요하다는 한계를 해결하기 위해.
• 확산 모델이 역행성 시간-주파수 변환으로 전처리될 경우, 다양한 오디오 복원 작업 간에 일반화될 수 있는지 탐색하기 위해.
• 특히 상수Q변환을 통한 톤-등변성 인덕티브 바이어스가 오디오 복원 성능 향상에 기여하는지 평가하기 위해.
• 작업별 미세조정 없이도 단일 생성 모델이 여러 오디오 복원 작업에서 경쟁력 있거나 최고 수준의 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 방법론은 시간 도메인에서 훈련된 스코어 기반 확산 모델을 사용하며, 톤-등변성 구조를 활용하기 위해 역행성 상수Q변환(CQT)을 전처리 단계로 활용한다.
• CQT의 로그 간격 주파수 축은 음정 이동이 이동으로 대응되게 하여 조화 구조를 유지하는 컨볼루션 레이어의 사용을 가능하게 한다.
• 모델은 노이즈 스케줄과 확률적 역SDE를 사용하여 학습된 스코어 함수에서 샘플링하며, 스코어는 신경망 $ s_{\theta}(\bm{x}_{\tau}, \sigma_{\tau}) $ 로 근사된다.
• 역문제의 조건부 처리를 위해 복원 가이던스(RG) 항과 선택적 노이즈 제거 분류기(DC)를 사용하여 부분 관측 조건에서도 민감한 추론이 가능하다.
• 모델은 솔로 피아노 음악 데이터로 훈련되고, 대역폭 확장, 인paint링, 딜클립핑 세 가지 작업에서 목적적 및 주관적 평가 지표를 사용해 평가된다.
• 선형 및 비선형 역문제 모두를 지원하며, 저통과 필터링, 신호 간극, 딱딱한 클리핑 등의 알려진 훼손 모델에 기반한 조건부 훈련이 가능하다.

실험 결과

연구 질문

• RQ1 재학습 없이도 단일 미리 훈련된 확산 모델이 다양한 오디오 역문제에 일반화될 수 있는가?
• RQ2 역행성 CQT로 확산 모델을 전처리함으로써 톤-등변성 대칭성을 활용해 오디오 복원 성능을 향상시킬 수 있는가?
• RQ3 대역폭 확장, 인paint링, 딜클립핑에서 CQT 기반 확산 모델의 성능이 작업별 전용 기준 모델과 비교해 어떻게 되는가?
• RQ4 복원 가이던스(RG)는 오디오 인paint링 중 시간적 일관성을 유지하는 데 어떤 역할을 하는가?
• RQ5 낮은 신호-왜곡비(SDR) 조건에서, 예를 들어 딜클립핑 시, 확산 모델의 생성 사전 지식이 분류 기반 방법보다 우수한 성능을 낼 수 있는가?

주요 결과

• CQT-Diff는 대역폭 확장에서 최고 성능을 기록했으며, 목적적 및 주관적 평가에서 비교된 모든 기준 모델을 압도했다.
• 인paint링 작업에서는 GACELA보다 약간 높은 MUSHRA 점수를 기록하여, 특별히 이 작업에 대해 훈련되지 않았음에도 불구하고 경쟁력 있는 성능을 보였다.
• 1 dB SDR에서의 딜클립핑 작업에서 CQT-Diff는 FAD(1.84), PEAQ(-3.53), PEMO-Q(-3.36) 점수에서 A-SPADE와 SS-PEW를 모두 앞서며 가장 높은 성능을 기록했다.
• 10 dB SDR 조건에서는 생성 모델의 품질에 한계가 있어 SS-PEW의 성능에 뒤지긴 했지만, A-SPADE와는 유사한 성능 수준을 유지했다.
• 인paint링에서 복원 가이던스(RG)의 사용은 시간적 일관성과 자연스러움을 크게 향상시켜, 모델 아키텍처 자체만으로는 장기적 의존성을 충분히 처리하지 못한다는 점을 시사한다.
• 결과는 CQT 전처리가 의미 있는 인덕티브 바이어스를 제공하며, 단일 통합 아키텍처로 다양한 역문제에 일반화할 수 있음을 확인시켰다.