[논문 리뷰] Automatic music mixing with deep learning and out-of-domain data

Marco A. Martínez-Ramírez, Wei‐Hsiang Liao외 4명|arXiv (Cornell University)|2022. 08. 24.

Music and Audio Processing인용 수 12

한 줄 요약

이 논문은 일반적으로 이용 가능하지만 이전에는 사용이 불가능했던 도메인 외부의 습한 멀티트랙 레코딩을 사용하여 딥러닝 모델을 훈련시켜 자동 음악 믹싱을 구현하는 새로운 데이터 전처리 방법을 제안한다. 이 방법은 음압, 음색 보정, 패닝, DRC, 리버브 등의 오디오 효과 특징을 정규화함으로써 가능해진다. 주관적 테스트에서 숙련된 엔지니어들 사이에서 전문가가 만든 믹스와 구분되지 않는 믹스를 달성하였으며, 건식 멀티트랙 데이터가 필요 없이도 자동 믹싱 품질에 있어 중요한 도약을 이룩하였다.

ABSTRACT

Music mixing traditionally involves recording instruments in the form of clean, individual tracks and blending them into a final mixture using audio effects and expert knowledge (e.g., a mixing engineer). The automation of music production tasks has become an emerging field in recent years, where rule-based methods and machine learning approaches have been explored. Nevertheless, the lack of dry or clean instrument recordings limits the performance of such models, which is still far from professional human-made mixes. We explore whether we can use out-of-domain data such as wet or processed multitrack music recordings and repurpose it to train supervised deep learning models that can bridge the current gap in automatic mixing quality. To achieve this we propose a novel data preprocessing method that allows the models to perform automatic music mixing. We also redesigned a listening test method for evaluating music mixing systems. We validate our results through such subjective tests using highly experienced mixing engineers as participants.

연구 동기 및 목표

• 딥러닝 모델의 자동 음악 믹싱 성능을 제한하는 건식 멀티트랙 레코딩의 부족 문제를 해결하기 위해.
• 도메인 외부의 습한 멀티트랙 데이터가 자동 믹싱 시스템의 지도 학습에 재사용될 수 있는지 탐색하기 위해.
• 모델이 오디오 효과를 역으로 제거하고 원래 믹스를 복원할 수 있도록 하는 데이터 정규화 기법을 개발하기 위해.
• 경험 많은 믹싱 엔지니어를 대상으로 청취 테스트를 설계하여 시스템 성능을 객관적으로 평가하기 위해.
• 기존의 습한 데이터셋만을 사용하여 전문가 수준의 자동 믹싱 품질을 달성하기 위해.

제안 방법

• 도메인 외부 데이터셋에서 계산된 평균 특징을 기반으로 각 오디오 효과 유형(음압, 음색 보정, 패닝, DRC, 리버브)을 스템 단위로 정규화하는 새로운 데이터 전처리 파이프라인을 제안한다.
• 각 악기 유형별로 평균 음압(LUFS)과 주파수 크기 스펙트럼(스펙트럼 변환(STFT)을 통한 계산)을 산출하여 정규화 프로파일을 설정한다.
• 효과 유형별 정규화 적용: 음압은 게인 조정, 음색 보정은 목표 스펙트럼에 맞는 필터 매칭, 패닝은 채널 간 레벨 정규화, DRC는 동적 범위 균형 조정, 리버브는 스펙트럼 감쇄 정규화를 적용한다.
• 정규화된 스템을 복원하여 믹싱 파rameter(Gain, EQ, 패닝, DRC, 리버브)를 예측하는 딥 네트워크를 훈련시켜 효과를 역으로 제거하는 것을 효과적으로 학습시킨다.
• 스테레오 출력의 일반화 및 청취 품질 향상을 위해 스테레오 인variant 손실 함수를 사용한다.
• 추론 시 실제 건식 멀티트랙 데이터에도 동일한 전처리를 적용하여 엔드 투 엔드 자동 믹싱을 가능하게 한다.

실험 결과

연구 질문

• RQ1 도메인 외부의 습한 멀티트랙 데이터로 훈련된 딥러닝 모델이 전문가가 만든 믹스와 유사한 음악 믹스를 생성할 수 있는가?
• RQ2 데이터 정규화 기법이 습한 훈련 데이터와 건식 추론 데이터 간의 분포 격차를 효과적으로 메울 수 있는가?
• RQ3 경험 많은 믹싱 엔지니어들은 모델이 생성한 믹스의 청취 품질을 전문가가 만든 믹스와 비교해 어떻게 평가하는가?
• RQ4 제안된 스테레오 인variant 손실 함수가 최종 믹스의 청취 품질을 향상시키는가?
• RQ5 모델은 건식 훈련 데이터 없이도 다양한 음악 장르에 대해 일반화되며 높은 품질의 믹싱을 유지할 수 있는가?

주요 결과

• 숙련된 엔지니어를 대상으로 한 주관적 청취 테스트에서 제안된 방법은 전문가가 만든 믹스와 생산성 가치(Production Value)와 자극감(Excitement) 측면에서 구분되지 않았다.
• 모델이 생성한 믹스는 전문가 믹스보다 명료성(Clarity) 측면에서 유의미하게 높은 점수를 기록하여 더 뛰어난 청취 투명도를 보였다.
• 청취 테스트 결과 전문가 믹스는 거의 항상 '매우 좋음'으로 평가되지 않았으며, 이는 평가 과제의 난이도와 제안된 시스템이 달성한 높은 기준을 시사한다.
• 모든 청취 기준에서 베이스라인 Wave-U-Net(WUN) 모델보다 모델 성능이 뛰어났으며, 생산성 가치와 자극감에서 유의미한 향상(p < 0.001)을 보였다.
• 스테레오 인variant 손실 함수는 특히 공간 이미징과 균형 측면에서 일반화 및 청취 품질 향상에 기여하였다.
• 이 방법은 MUSDB18과 같은 기존의 습한 데이터셋을 사용하여 훈련이 가능하게 하여 고비용의 건식 멀티트랙 수집이 필요 없어졌다.