[논문 리뷰] SignalTrain: Profiling Audio Compressors with Deep Neural Networks

Scott H. Hawley, Benjamin Colburn외 1명|arXiv (Cornell University)|2019. 05. 28.

Music and Audio Processing인용 수 8

한 줄 요약

이 논문은 원시 음성 입력에서 제어 매개변수를 조건으로 하여 출력으로의 엔드 투 엔드 매핑을 학습함으로써 동적 레인지 압축기의 특성을 프로파일링하는 딥 오토인코더 모델인 SignalTrain을 제안한다. 이 방법은 소프트웨어 및 아날로그 압축기의 핵심 기능적 및 청각적 특성을 성공적으로 포착하지만 잔여 노이즈로 인해 즉각적인 실용적 구현에는 제약이 있다.

ABSTRACT

In this work we present a data-driven approach for predicting the behavior of (i.e., profiling) a given non-linear audio signal processing effect (henceforth "audio effect"). Our objective is to learn a mapping function that maps the unprocessed audio to the processed by the audio effect to be profiled, using time-domain samples. To that aim, we employ a deep auto-encoder model that is conditioned on both time-domain samples and the control parameters of the target audio effect. As a test-case study, we focus on the offline profiling of two dynamic range compression audio effects, one software-based and the other analog. Compressors were chosen because they are a widely used and important set of effects and because their parameterized nonlinear time-dependent nature makes them a challenging problem for a system aiming to profile "general" audio effects. Results from our experimental procedure show that the primary functional and auditory characteristics of the compressors can be captured, however there is still sufficient audible noise to merit further investigation before such methods are applied to real-world audio processing workflows.

연구 동기 및 목표

• 도메인 특화 신호 모델에 의존하지 않고 일반적인 음향 효과를 프로파일링하기 위한 데이터 기반 엔드 투 엔드 딥 러닝 접근법을 개발하기 위해.
• 기존 방법이 실패하는 비선형적이고 시간에 따라 변하는 음향 효과—특히 동적 레인지 압축기—를 모델링하는 도전 과제를 해결하기 위해.
• 단일 신경망이 입력-출력 음성 쌍만을 사용하여 실제 압축기의 복잡한 매개변수 조절 행동을 학습하고 재현할 수 있는지 평가하기 위해.
• 원시 시간 도메인 파형과 제어 매개변수를 입력으로 사용하여 다양한 압축기 설정에 일반화할 수 있는 모델을 훈련시키는 데의 가능성을 평가하기 위해.
• 현재 딥 러닝 접근법의 음향 효과 모델링에서의 한계, 특히 잔여 노이즈와 계산 비용을 특정하기 위해.

제안 방법

• 깊이 있는 오토인코더 아키텍처를 사용하며, 입력 음성의 압축된 표현을 학습하기 위해 버티컬 레이어를 활용한다.
• 목표 압축기의 제어 매개변수(예: 피크 감소 노브, 압축/제한 스위치 등)와 함께 원시 시간 도메인 음성 샘플을 조건으로 삼는다.
• 시간적 의존성을 모델링하기 위해 가변적인 봉우리 크기를 가진 음성 프레임의 시퀀스를 입력으로 사용하며, 인과적 처리를 시뮬레이션한다.
• 특징 정규화 및 학습 안정성 향상을 위해 오토인코더 내부에서 스펙트럼 표현을 사용한다.
• 예측된 음성 파형과 목표 음성 파형 간의 평균 제곱 오차 손실을 사용하여 경사 하강법으로 모델을 훈련시킨다.
• 학습 효율성과 수렴을 최적화하기 위해 1사이클 학습률 정책을 적용하며, 초모델은 검증 손실 기반으로 튜닝된다.

실험 결과

연구 질문

• RQ1 딥 신경망은 원시 음성 입력과 제어 매개변수로부터 음향 압축기의 비선형적이고 시간에 따라 변하는 행동을 학습할 수 있는가?
• RQ2 시간적 맥락의 크기(봉우리 윈도우)가 모델이 압축기 특성을 재현하는 데 미치는 영향은 어떠한가?
• RQ3 모델은 아날로그 및 소프트웨어 압축기의 청각적 및 기능적 특성을 어느 정도 포착할 수 있는가?
• RQ4 모델 출력의 주요 오차 원인은 무엇이며, 유한한 봉우리로 인한 인과성은 주요 원인인가?
• RQ5 모델은 다양한 음성 소재 유형(예: 음악, 합성 파형)과 압축기 설정 간에 일반화 가능한가?

주요 결과

• 모델은 소프트웨어 기반 및 아날로그(테일레트로닉스 LA-2A) 압축기의 주요 기능적 및 청각적 특성을 성공적으로 포착하였다.
• 16,384에서 221,184 샘플까지 다양한 봉우리 크기를 사용했음에도 검증 손실이 약 1e-4 수준으로 수렴하여 맥락 길이에 대해 강건함을 보였다.
• 모델은 공격 트랜지언트의 진폭을 일관되게 과소 평가하고 일부 경우 과다 압축을 일으키며, 이는 트랜지언트 응답 모델링의 한계를 시사한다.
• 불연속적인 압축/제한 스위치가 훈련에 영향을 주지 않아, 기울기 기반 최적화가 비연속적인 제어 매개변수를 처리할 수 있음을 보여주었다.
• 출력에서의 잔여 노이즈는 여전히 주요 제약으로 남아 있어 전문 음향 워크플로우에서의 즉각적 구현을 방해한다.
• 유한한 봉우리 윈도우로 인한 제한은 모델 성능의 주요 원인이 아니며, LA-2A의 5초 분리 시간을 초과해도 손실이 낮게 유지됨을 확인하였다.