[논문 리뷰] A Feature Learning Siamese Model for Intelligent Control of the Dynamic Range Compressor

Sheng Di, György Fazekas|arXiv (Cornell University)|2019. 05. 01.

Music and Audio Processing참고 문헌 27인용 수 4

한 줄 요약

이 논문은 단일 기준 오디오를 사용하여 동적 레인지 압축(DRC) 파라미터—임계값, 비율, 어택 시간, 리lease 시간—를 지능적으로 제어할 수 있는 유니버설 오디오 특징 임베딩을 학습하는 시아모이스(Siamese) 딥 네ural 네트워크(DNN) 모델을 제안한다. 이 모델은 수작업 특징보다 우수한 성능을 보이며, 특히 다중 파라미터를 동시에 예측할 경우 평균 절대 오차(MAE)가 낮아져 단일 악기 루프와 복합 음악에서 일반화 능력과 강건성 향상을 입증한다.

ABSTRACT

In this paper, a siamese DNN model is proposed to learn the characteristics of the audio dynamic range compressor (DRC). This facilitates an intelligent control system that uses audio examples to configure the DRC, a widely used non-linear audio signal conditioning technique in the areas of music production, speech communication and broadcasting. Several alternative siamese DNN architectures are proposed to learn feature embeddings that can characterise subtle effects due to dynamic range compression. These models are compared with each other as well as handcrafted features proposed in previous work. The evaluation of the relations between the hyperparameters of DNN and DRC parameters are also provided. The best model is able to produce a universal feature embedding that is capable of predicting multiple DRC parameters simultaneously, which is a significant improvement from our previous research. The feature embedding shows better performance than handcrafted audio features when predicting DRC parameters for both mono-instrument audio loops and polyphonic music pieces.

연구 동기 및 목표

• 이전 수작업 특징 세트의 한계를 극복하기 위해, 다중 DRC 파라미터를 동시에 예측할 수 있는 일반적이고 엔드 투 엔드로 훈련 가능한 특징 학습 모델을 개발하는 것.
• 모든 DRC 파라미터에 대해 네 개의 별도의 회귀 모델을 하나의 통합 모델로 대체하여 계산 복잡도를 감소시키는 것.
• 유 invariant 오디오 표현을 학습함으로써 다양한 오디오 자료, 특히 복잡한 다성분 음악에서의 강건성과 일반화 능력을 향상시키는 것.
• 다양한 DNN 아키텍처와 입력 표현(예: 고해상도 스펙트로그램)이 DRC 관련 특징을 어떻게 효과적으로 학습하는지 평가하는 것.
• 다양한 오디오 콘텐츠에서 예측 정확도와 일반화 능력 측면에서 학습된 특징 임베딩을 수작업 특징과 비교하는 것.

제안 방법

• 시아모이스 DNN 아키텍처를 활용하여, 참조 오디오와 입력 오디오를 처리하는 동일한 두 하위 네트워크를 사용하고, 최종 레이어 출력의 L2 차이에서 특징 임베딩을 유도한다.
• 유사한 DRC 파라미터 설정이 가까이 모이도록 하는 것을 목표로, 대비 손실(contrastive loss)을 사용하여 밀도 높고 분류 가능한 임베딩 공간을 학습한다.
• 입력 표현으로 고해상도 시간-주파수 스펙트로그램(예: 64×625)과 다중 해상도 스펙트로그램을 사용하며, 후자가 뛰어난 성능을 보였다.
• 학습된 특징 임베딩을 기존의 회귀 모델의 입력으로 사용하여 수작업 특징과의 비교를 가능하게 한다.
• 모델 변종으로 표준 CNN, 다중 커널 CNN, 잔차 네트워크를 사용하며, DRC 파라미터 예측 성능을 최적화하기 위해 초모델 하이퍼파ram터를 조정한다.
• 훈련 데이터는 DRC 파라미터에 대한 격자 탐색(예: 임계값: 10–49 dB, 비율: 1.28–20, 어택: 1–98.5 ms, 리lease: 10–985 ms)을 통해 생성되어 평가용 대규모 데이터셋을 확보한다.

실험 결과

연구 질문

• RQ1 단일 딥 네럴 네트워크가 임계값, 비율, 어택, 리lease와 같은 다중 DRC 파라미터에 대해 일반화 가능한 유니버설 특징 임베딩을 학습할 수 있는가?
• RQ2 학습된 특징 임베딩의 성능가 수작업 특징과 비교해 복수의 DRC 파라미터를 동시에 예측할 때 어떻게 다른가?
• RQ3 입력 표현의 선택(예: 고해상도 스펙트로그램 대 다중 해상도)이 학습된 임베딩의 품질에 상당한 영향을 미치는가?
• RQ4 모델 아키텍처(예: 표준 CNN 대 다중 커널 CNN)가 다양한 오디오 유형에서 특징 임베딩의 일반화 능력과 강건성에 어떻게 영향을 미치는가?
• RQ5 더 단순한 드럼 루프로 훈련된 모델이 더 복잡한 다성분 음악으로 일반화될 때 더 나은 성능을 보이는가? 그 이유는 무엇인가?

주요 결과

• 고해상도 스펙트로그램을 입력으로 사용한 시아모이스 DNN 모델이 가장 뛰어난 성능을 보였으며, 수작업 특징과 다른 DNN 아키텍처를 모두 능가했다.
• 네 파라미터 예측에서, 모델은 임계값에 대해 평균 절대 오차(MAE) 2.369 dB, 비율에 대해 3.265, 어택 시간에 대해 10.868 ms, 리lease 시간에 대해 79.045 ms를 기록했으며, 이는 수작업 특징보다 유의미하게 낮았다.
• MedleyDB 데이터셋의 다성분 음악에서 테스트한 결과, 학습된 임베딩은 임계값에 대해 MAE 1.697 dB, 어택 시간에 대해 9.873 ms를 기록했으며, 이는 수작업 특징(11.585 dB 및 26.628 ms)을 뛰어넘었다.
• 놀랍게도, 모델은 드럼 루프보다 다성분 음악에서 더 잘 일반화되었으며, 더 rich한 오디오 콘텐츠가 특징 학습에 도움이 될 수 있음을 시사한다.
• 두 파라미터 예측 대비 네 파라미터 예측에서 성능 저하가 발생한 것은 더 큰 격자 크기와 증가된 데이터 복잡도가 더 정교한 하이퍼파ram터 튜닝이나 더 많은 훈련 데이터가 필요함을 시사한다.
• 모델은 단일 통합 DNN이 네 개의 별도의 회귀 모델을 대체할 수 있음을 입증하며, 계산 복잡도를 감소시키고 특징 일반화 능력을 향상시킨다.