[논문 리뷰] Exploring Quality and Generalizability in Parameterized Neural Audio Effects

William Mitchell, Scott H. Hawley|arXiv (Cornell University)|2020. 06. 09.

Music and Audio Processing인용 수 4

한 줄 요약

이 논문은 파arameterized 오디오 효과 모델링을 위한 SignalTrain 신경망을 파형 도메인에서 성능 향상으로 개선한다. 속도, 정확도, 일반화 능력 향상에 기여한다. 단일 악기 콘텐츠로 구성된 데이터셋 제한이 학습 시간을 늘리지 않으면서도 모델 정확도를 크게 향상시키며, 44.1kHz/16비트 품질에서 컴프레서 및 레지스터 캐비닛 시뮬레이션을 포함한 다양한 효과를 성공적으로 모델링한다.

ABSTRACT

Deep neural networks have shown promise for music audio signal processing applications, often surpassing prior approaches, particularly as end-to-end models in the waveform domain. Yet results to date have tended to be constrained by low sample rates, noise, narrow domains of signal types, and/or lack of parameterized controls (i.e. "knobs"), making their suitability for professional audio engineering workflows still lacking. This work expands on prior research published on modeling nonlinear time-dependent signal processing effects associated with music production by means of a deep neural network, one which includes the ability to emulate the parameterized settings you would see on an analog piece of equipment, with the goal of eventually producing commercially viable, high quality audio, i.e. 44.1 kHz sampling rate at 16-bit resolution. The results in this paper highlight progress in modeling these effects through architecture and optimization changes, towards increasing computational efficiency, lowering signal-to-noise ratio, and extending to a larger variety of nonlinear audio effects. Toward these ends, the strategies employed involved a three-pronged approach: model speed, model accuracy, and model generalizability. Most of the presented methods provide marginal or no increase in output accuracy over the original model, with the exception of dataset manipulation. We found that limiting the audio content of the dataset, for example using datasets of just a single instrument, provided a significant improvement in model accuracy over models trained on more general datasets.

연구 동기 및 목표

• 이전 신경 오디오 효과 모델의 한계, 즉 낮은 샘플링 레이트, 노이즈, 파rameterized 제어 기능 부족 문제를 해결한다.
• 44.1kHz/16비트 오디오 품질을 달성하여 전문 오디오 워크플로우에 적합한 SignalTrain 모델을 향상시킨다.
• 아키텍처 및 최적화 전략을 통해 모델의 효율성, 정확도, 일반화 능력을 향상시킨다.
• 아날로그 및 디지털 유형의 비선형 오디오 효과를 포함한 다양한 효과에 대해 모델의 일반화 능력을 입증한다.
• 데이터셋 구성, 특히 단일 악기 대비 혼합 악기 데이터가 모델 성능에 미치는 영향을 조사한다.

제안 방법

• 스펙트로그램 기반 접근 방식을 피하기 위해 파형 도메인에서 SignalTrain 모델을 학습하여 위상 및 주파수 정보를 유지한다.
• 아날로그 오디오 장비에 있는 파rameterized 제어 기능을 모방하기 위해 학습 가능한 가상의 '노브'를 도입한다.
• 세 가지 전략을 통합: 모델 속도(예: 푸리에 계층 고정), 모델 정확도(장기 학습, 데이터셋 정제), 모델 일반화 능력.
• Leslie 캐비닛의 코러스 및 트레몰 효과와 같은 진동 특성을 포착하기 위해 최대 98,304개의 샘플까지 입력 버퍼 크기를 증대시킨다.
• 학습 안정성 향상과 손실 감소를 위해 학습 시간을 늘리지 않고도 스케일 연결을 구현한다.
• AudioMDPI 및 자체 녹음 데이터셋을 활용해 검증 손실과 청취 평가를 통해 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 파형 도메인 신경망에 파rameterized 노브를 적용하면 44.1kHz/16비트 해상도에서 고음질 오디오 효과를 달성할 수 있는가?
• RQ2 학습 데이터를 단일 악기 콘텐츠로 제한할 경우 모델 정확도와 일반화 능력에 어떤 영향을 미치는가?
• RQ3 고정된 푸리에 계층 및 스케일 연결과 같은 아키텍처 선택이 학습 속도와 손실 수렴에 어떤 영향을 미치는가?
• RQ4 SignalTrain 모델은 아날로그(Leslie 캐비닛) 및 디지털( HackAudio 컴프레서) 효과를 포함한 다양한 비선형 오디오 효과에 일반화할 수 있는가?
• RQ5 입력 버퍼 크기와 진동 신호 특성이 코러스 및 트레몰 효과 학습에 어떻게 영향을 미치는가?

주요 결과

• 학습 데이터셋을 단일 악기 콘텐츠로 제한함으로써 학습 시간을 늘리지 않으면서도 모델 정확도가 크게 향상되었으며, 혼합 악기 데이터로 학습한 모델보다 뛰어난 성능을 보였다.
• 51.35시간의 학습 후 Leslie Woofer Tremolo 효과에 대해 최종 검증 손실이 1.225e-4에 도달하여 고도로 계산 비용이 드는 상황에서도 효과적인 학습이 이루어졌음을 시사한다.
• 1,000 에포크를 초과해 학습해도 손실 감소가 미미했고 음질 향상도 눈에 띄지 않아 수익 감소 현상이 나타났다.
• 푸리에 변환 계층을 고정함으로써 학습 속도는 향상되었지만 모델 정확도가 크게 떨어져 이 성능 조정은 정당화되지 않았다.
• 스케일 연결은 학습 시간을 증가시키지 않았지만 손실 감소에 크게 기여하여 더 나은 수렴과 모델 안정성을 확보했다.
• 모델은 아날로그(Leslie 캐비닛) 및 디지털(HackAudio 컴프레서) 효과 모두에 대해 성공적으로 일반화되었으며, 다양한 오디오 처리 작업에 광범위하게 적용 가능함을 입증했다.