[논문 리뷰] A general-purpose deep learning approach to model time-varying audio effects

M Martinez Ramirez, Emmanouil Benetos외 1명|arXiv (Cornell University)|2019. 05. 15.

Speech and Audio Processing참고 문헌 30인용 수 13

한 줄 요약

이 논문은 순환 신경망을 사용하여 시간에 따라 변하는 오디오 효과를 블랙박스 방식으로 학습할 수 있는 일반 목적의 딥러닝 모델을 제안한다. 이는 회로 특화 지식이 필요로 하지 않으며, 코러스, 플래nger, 페이저, 트레몰로, 링 모듈레이터, 레스리 스피커, 압압기 등 다양한 선형 및 비선형 효과를 성공적으로 모방하며, 조절 스펙트럼 유사도를 기반으로 한 새로운 목적 함수를 사용해 청각적으로 정확한 결과를 도출한다.

ABSTRACT

Audio processors whose parameters are modified periodically over time are often referred as time-varying or modulation based audio effects. Most existing methods for modeling these type of effect units are often optimized to a very specific circuit and cannot be efficiently generalized to other time-varying effects. Based on convolutional and recurrent neural networks, we propose a deep learning architecture for generic black-box modeling of audio processors with long-term memory. We explore the capabilities of deep neural networks to learn such long temporal dependencies and we show the network modeling various linear and nonlinear, time-varying and time-invariant audio effects. In order to measure the performance of the model, we propose an objective metric based on the psychoacoustics of modulation frequency perception. We also analyze what the model is actually learning and how the given task is accomplished.

연구 동기 및 목표

• 특정 아날로그 회로의 전문 지식이 필요 없이 다양한 시간에 따라 변하는 오디오 효과를 모델링할 수 있는 일반 목적의 딥러닝 프레임워크 개발
• 기존의 가상 아날로그 방법의 한계를 해결하기 위해, 회로에 특화되어 있으며 서로 다른 효과 유형 간에 쉽게 이식되지 않는 문제 해결
• 딥 네트워크가 조절 기반 오디오 효과에 내재된 장기적 시간 의존성을 학습할 수 있는지 탐색
• 조절 스펙트럼을 기반으로 한 청각적으로 유도된 목적 평가 지표를 제안하여 모델 성능 평가
• 장기 기억 기능을 갖춘 시간에 따라 변하지 않는 오디오 효과(예: 압압기, 오토와우)까지도 동일한 아키텍처로 일반화 가능함을 보여주기

제안 방법

• 모델는 국소적 특징 추출을 위한 컨볼루션 레이어와 오디오 신호의 장기적 시간 의존성을 포착하기 위한 양방향 장기 단기 기억(비-LSTM) 네트워크를 조합한 하이브리드 아키텍처를 사용한다.
• 원시 오디오 웨이브폼을 입력으로 사용하며, 주어진 시간에 따라 변하는 효과 작업에 대해 출력 오디오를 예측하도록 엔드 투 엔드로 훈련된다.
• 아키텍처는 시간에 따라 변하는 시스템의 기본 방정식을 명시적으로 풀지 않고도 콘텐츠 기반 변환을 학습하도록 설계되어 있다.
• 청각적 인지에 반영된 조절 주파수의 특성을 반영하기 위해 조절 스펙트럼 대역 간 유클리드 거리 기반의 새로운 목적 함수를 도입한다.
• 각 효과 유형당 소수의 오디오 예제로 훈련되어 다양한 효과 장치 간의 일반화를 가능하게 한다.
• 선형 및 비선형 시간에 따라 변하는 효과, 특히 링 모듈레이션 및 도플러 효과와 같은 복잡한 비선형성을 포함한 효과에 대해 평가된다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 기반 회로에 대한 사전 지식 없이 시간에 따라 변하는 오디오 효과를 모델링하기 위해 필요한 장기적 시간 의존성을 학습할 수 있는가?
• RQ2 단일 딥러닝 아키텍처가 선형 및 비선형 효과를 포함한 다양한 조절 기반 오디오 효과에 얼마나 잘 일반화되는가?
• RQ3 코러스, 플래너, 레스리 스피커 등과 같은 복잡한 효과를 얼마나 잘 모방할 수 있는가? 이는 진폭, 톤, 공간 조절과 인공 리버브를 복합적으로 포함한다.
• RQ4 제안된 조절 스펙트럼 기반 지표가 청각적 품질과 관련이 있으며 신뢰할 수 있는 객관적 성능 측정 수단이 되는가?
• RQ5 압압기, 오토와우와 같은 시간에 따라 변하지 않는 효과를 장기 기억 기능을 통해 동일한 아키텍처로 효과적으로 학습할 수 있는가?

주요 결과

• 모델은 코러스, 플래너, 페이저, 트레몰로, 비브라토, 오토와우, 링 모듈레이터, 레스리 스피커 등 다양한 시간에 따라 변하는 오디오 효과를 청각적으로 정확한 결과로 성공적으로 모의하였다.
• 압압기 및 멀티밴드 압압기와 같은 시간에 따라 변하지 않는 효과에서 낮은 평균 절대 오차(MAE)를 기록하여, 크로스오버 필터의 명시적 모델링 없이도 뛰어난 성능을 보였다.
• 제안된 조절 스펙트럼 기반 지표는 청각적 차이를 효과적으로 포착하며 인간의 조절 효과 인지와 상관관계가 있다.
• 모델는 다양한 악기와 효과 유형 간에 잘 일반화되며, 회로 특화 가정 없이도 변환을 학습하였다.
• 최고 주파수 대역과 노이즈 수준에서 약간의 차이가 관찰되어, 필터 밴드 해상도를 높이거나 시간-주파수 손실 함수를 도입함으로써 향상 가능할 것으로 제안된다.
• 모델는 비선형성에 대해 뛰어난 강건성을 보이며, 링 모듈레이터 및 레스리 스피커와 같이 다중 비선형 상호작용을 포함하는 복잡한 효과를 성공적으로 모델링하였다.