[논문 리뷰] Efficient Neural Networks for Real-time Analog Audio Effect Modeling.

Christian J. Steinmetz, Joshua D. Reiss|arXiv (Cornell University)|2021. 02. 11.

Speech and Audio Processing참고 문헌 39인용 수 10

한 줄 요약

이 논문은 매우 큰 확장 계수를 가진 얕은 시간 컨볼루션 네트워크(이하 TCNs)를 사용하여 아날로그 오디오 효과를 경량화되고 실시간으로 작동할 수 있는 신경망으로 모델링하는 방법을 제안한다. 광범위한 수신 필드를 활용함으로써, 이전 방법에 비해 훈련 데이터의 1%만으로도 상태최저 성능을 달성하고 CPU에서 4배 빠른 추론 속도를 확보하여 복잡한 효과, 예를 들어 압축기(compressors)와 같은 효과의 청각적으로 정확한 실시간 모델링을 가능하게 한다.

ABSTRACT

Deep learning approaches have demonstrated success in the task of modeling analog audio effects such as distortion and overdrive. Nevertheless, challenges remain in modeling more complex effects, such as dynamic range compressors, along with their variable parameters. Previous methods are computationally complex, and noncausal, prohibiting real-time operation, which is critical for use in audio production contexts. They additionally utilize large training datasets, which are time-intensive to generate. In this work, we demonstrate that shallower temporal convolutional networks (TCNs) that exploit very large dilation factors for significant receptive field can achieve state-of-the-art performance, while remaining efficient. Not only are these models found to be perceptually similar to the original effect, they achieve a 4x speedup, enabling real-time operation on CPU, and can be trained using only 1% of the data from previous methods.

연구 동기 및 목표

• 기존 딥러닝 모델이 실시간 오디오 제작 사용에 장애가 되는 계산 비효율성과 비인과적 설계 문제를 해결하기 위해.
• 일반적으로 생성에 시간이 오래 걸리는 오디오 효과 신경망 모델의 훈련에 필요한 데이터 요구량을 줄이기 위해.
• 실시간 추론을 가능하게 하기 위해 실시간 오디오 처리에 적합한 경량화된 인과적 아키텍처를 설계하기 위해.
• 기존 방법이 어려운 동적 레인지 압축기와 같은 복잡한 효과를 높은 청각 정확도로 모델링하기 위해.
• 얕은 TCNs에 큰 확장 계수를 적용할 경우 모델 복잡도를 크게 줄이고도 상태최저 성능에 도달하거나 이를 초월할 수 있는지 확인하기 위해.

제안 방법

• 모델 깊이를 늘리지 않고도 넓은 효과적 수신 필드를 확보하기 위해 매우 큰 확장 계수를 가진 얕은 시간 컨볼루션 네트워크(이하 TCNs)를 사용한다.
• 네트워크 계산 과정에서 시간적 인과성을 유지함으로써 실시간 추론을 보장하기 위해 인과적 아키텍처를 설계한다.
• FLOPs를 최소화하여 표준 CPU에서 실시간 작동이 가능한 경량 네트워크 아키텍처를 구현한다.
• 이전 방법이 요구하는 훈련 데이터의 1%만으로도 훈련을 수행하며, 넓은 수신 필드를 통한 효율적인 특징 학습을 활용한다.
• 객관적 및 주관적 평가 지표를 사용하여 원본 아날로그 효과와의 청각 유사도를 최적화한다.

실험 결과

연구 질문

• RQ1 매우 큰 확장 계수를 가진 얕은 TCN이 계산 비용을 줄이며 상태최저 성능을 달성할 수 있는가?
• RQ2 기존 방법에 비해 청각 품질을 손상시키지 않고 얼마나 많은 데이터 요구량을 줄일 수 있는가?
• RQ3 제안된 아키텍처가 CPU에서 실시간 추론을 가능하게 하여 라이브 오디오 제작에 적합한가?
• RQ4 왜곡이나 오버드라이브보다 더 어려운 동적 레인지 압축기와 같은 복잡한 효과에 대해 모델의 일반화 능력은 어느 정도인가?

주요 결과

• 제안된 TCN 기반 모델은 이전 방법 대비 추론 속도가 4배 빨라져 CPU에서 실시간 작동이 가능하다.
• 이전 방법이 사용하는 훈련 데이터의 1%만으로도 훈련이 가능하여 데이터 생성 비용을 크게 절감한다.
• 청각 평가 결과, 복잡한 압축기 효과조차도 원본 아날로그 효과와 매우 유사한 출력을 생성함을 확인했다.
• 높은 확장 계수를 통해 확보한 넓은 수신 필드 덕분에 오디오 신호의 장기적 시간 의존성을 정확히 모델링할 수 있었다.
• 아키텍처는 인과성을 유지하여 실시간 오디오 처리 파이프라인과의 호환성을 확보했다.