[논문 리뷰] Efficient neural networks for real-time modeling of analog dynamic range compression

Christian J. Steinmetz, Joshua D. Reiss|arXiv (Cornell University)|2021. 02. 11.

Structural Health Monitoring Techniques인용 수 9

한 줄 요약

이 논문은 실시간 CPU에서 아날로그 LA-2A 다이내믹 레인지 컴프레서를 모델링하기 위해 빠르게 증가하는 확장 인자( dilation factors)를 사용하는 인과적이고 계산적으로 효율적인 시간 컨볼루션 네트워크( TCN)를 제안한다. 희소하고 확장된 컨볼루션을 통해 적은 층 수로도 큰 수신장(field)을 달성하여, 단지 10분의 학습 데이터로도 최신 기술 수준의 성능을 달성하면서 听각적 정확도를 유지한다.

ABSTRACT

Deep learning approaches have demonstrated success in modeling analog audio effects. Nevertheless, challenges remain in modeling more complex effects that involve time-varying nonlinear elements, such as dynamic range compressors. Existing neural network approaches for modeling compression either ignore the device parameters, do not attain sufficient accuracy, or otherwise require large noncausal models prohibiting real-time operation. In this work, we propose a modification to temporal convolutional networks (TCNs) enabling greater efficiency without sacrificing performance. By utilizing very sparse convolutional kernels through rapidly growing dilations, our model attains a significant receptive field using fewer layers, reducing computation. Through a detailed evaluation we demonstrate our efficient and causal approach achieves state-of-the-art performance in modeling the analog LA-2A, is capable of real-time operation on CPU, and only requires 10 minutes of training data.

연구 동기 및 목표

• 아날로그 다이내믹 레인지 컴프레션, 특히 LA-2A 컴프레서를 위한 실시간, 인과적 신경망 모델을 개발하는 것.
• 실시간 오디오 처리를 방해하는 이전의 비인과적 또는 계산 비용이 큰 모델의 한계를 극복하는 것.
• 모델 복잡도와 추론 비용을 줄이면서도 높은 청각 정확도를 유지하는 것.
• 학습 데이터 크기의 영향, 특히 최소한의 데이터에서의 성능에 대한 평가.
• 전문 오디오 엔지니어링 워크플로우에 실용적으로 적용 가능한 신경 오디오 효과 모델의 구현을 가능하게 하는 것.

제안 방법

• 실시간 운영을 보장하기 위해 인과적 마스킹이 적용된 확장된 컨볼루션을 사용한 수정된 시간 컨볼루션 네트워크( TCN)를 사용하는 방법.
• 최소한의 층 수로도 큰 수신장을 달성하기 위해 빠르게 증가하는 확장 인자(예: 1, 2, 4, 8, 16, 32, 64, 128)를 사용한다.
• 이 확장 스케줄을 통해 희소한 컨볼루션 커널을 강제로 적용하여 파rameter 수와 계산량을 감소시킨다.
• 각 층에서 이득과 바이어스를 조절하기 위해 장치 파라미터를 조건으로 하는 다층 퍼셉트론( MLP)을 사용한다.
• 측정된 LA-2A 반응에서 예측된 출력과 목표 출력 간의 평균 제곱오차 손실을 사용하여 학습을 수행한다.
• 목적적 지표와 숙련된 오디오 엔지니어들이 참여한 다중 자극 MUSHRA 청취 테스트를 통해 모델을 평가한다.

실험 결과

연구 질문

• RQ1 인과적이고 효율적인 TCN 아키텍처가 CPU에서 실시간으로 작동하면서도 LA-2A 컴프레서 모델링에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 표준 TCN과 비교해 빠르게 증가하는 확장 인자를 사용할 경우, 모델 성능과 계산 효율성에 어떤 영향을 미치는가?
• RQ3 LA-2A 컴프레서의 고해상도 모의를 위해 필요한 최소한의 학습 데이터는 얼마인가?
• RQ4 제안된 모델은 원본 아날로그 장치와 이전의 신경 모델에 비해 청각적으로 얼마나 정확한가?
• RQ5 모델은 다양한 오디오 콘텐츠와 제어 파라미터 설정에 대해 잡음이나 들리는 이상 현상 없이 일반화 가능한가?

주요 결과

• 희소하고 빠르게 증가하는 확장 인자를 사용하는 제안된 인과 TCN은 이전의 비인과적 또는 계산 비용이 큰 모델들을 능가하는 최신 기술 수준의 성능을 달성하여 LA-2A 컴프레서를 모델링한다.
• 모델은 CPU에서 실시간으로 작동하여 디지털 오디오 워크스테이션과 플러그인 환경에서 실용적인 구현이 가능하다.
• 단지 10분의 학습 데이터(전체 데이터셋의 1%)로도 고품질의 모의가 가능하여 데이터 요구량을 크게 줄였다.
• 18명의 숙련된 오디오 엔지니어를 대상으로 한 청취 테스트에서 제안된 모델과 기준 LA-2A 간에 유의미한 청각적 차이가 없었다(p_adj = 0.37), 비록 둘 다 원본보다 略로 떨어졌지만.
• SignalTrain 베이스라인은 뚜렷한 잡음 유사한 잡음 왜곡을 유발했고, 일부 경우에서 제안된 모델은 기준보다 더 높은 평가를 받았다. 이는 전이 응답 차이로 인한 것이다.
• Kruskal-Wallis H-검정을 통해 기준 모델과 LSTM-32 및 제안된 TCN-300-C 모델 간의 중앙값 평가에 유의미한 차이가 있었으며(p < 0.001), 청취자들이 미세한 차이를 감지할 수 있음을 확인했다.