[논문 리뷰] Neural Loop Combiner: Neural Network Models for Assessing the Compatibility of Loops

Boyu Chen, Jordan B. L. Smith외 1명|arXiv (Cornell University)|2020. 08. 05.

Music and Audio Processing인용 수 5

한 줄 요약

이 논문은 기존 음악에서 양성 예제를 추출하고 다양한 음성 샘플링 전략을 적용하는 새로운 데이터 생성 파이pline을 통해 음악 루프 간의 호환성을 예측하기 위한 신경망 기반 접근법을 제안한다. 연구에서는 CNN과 시아모이스 신경망 아키텍처를 비교하여 주관적 평가에서 CNN이 시아모이스 모델과 규칙 기반 AutoMashUpper 시스템을 모두 압도하며, 모델의 추천이 데이터셋에 포함된 원본 루프 쌍보다도 더 호환성 있고 사용하기 쉬운 것으로 평가되었다.

ABSTRACT

Music producers who use loops may have access to thousands in loop libraries, but finding ones that are compatible is a time-consuming process; we hope to reduce this burden with automation. State-of-the-art systems for estimating compatibility, such as AutoMashUpper, are mostly rule-based and could be improved on with machine learn-ing. To train a model, we need a large set of loops with ground truth compatibility values. No such dataset exists, so we extract loops from existing music to obtain positive examples of compatible loops, and propose and compare various strategies for choosing negative examples. For re-producibility, we curate data from the Free Music Archive.Using this data, we investigate two types of model architectures for estimating the compatibility of loops: one based on a Siamese network, and the other a pure convolutional neural network (CNN). We conducted a user study in which participants rated the quality of the combinations suggested by each model, and found the CNN to outperform the Siamese network. Both model-based approaches outperformed the rule-based one. We have opened source the code for building the models and the dataset.

연구 동기 및 목표

• 음악 제작에서 루프 호환성 추정을 위한 레이블이 부족한 데이터셋의 문제를 해결하기 위해.
• 두 루프가 같은 구성에서 청각적으로 호환되는지 자동으로 예측할 수 있는 기계 학습 프레임워크를 개발하기 위해.
• 딥 러닝 모델(CNN 및 시아모이스)의 성능을 AutoMashUpper와 같은 규칙 기반 시스템과 비교하여 루프 호환성 예측 능력을 평가하기 위해.
• 정답 레이블이 제공되지 않을 경우 효과적인 음성 샘플링 전략을 탐색하기 위해.
• 객관적 지표와 주관적 사용자 연구를 통해 인식된 매칭 품질, 사용성, 창의성 측면에서 모델 성능을 평가하기 위해.

제안 방법

• 양성 루프 쌍은 비음수 텐서 분해(NOT) 기반 루프 추출 알고리즘을 사용해 기존 음악에서 추출하는 데이터 생성 파이pline을 구현한다.
• 균형 잡힌 훈련 데이터를 만들기 위해 역방향 샘플링 및 무작위 샘플링과 같은 다양한 전략을 사용해 음성 루프 쌍을 추출한다.
• 1D 합성곱 신경망(CNN)은 루프 쌍의 시간-주파수 표현에서 직접 호환성 분류를 학습한다.
• 시아모이스 신경망(SNN)은 공유 가중치를 사용해 각 루프를 별도로 처리하고, 임베딩 유사도를 기반으로 호환성을 계산한다.
• 모델는 재현 가능하고 개방된 접근이 가능한 Free Music Archive(FMA)에서 수집한 캘리브레이션된 데이터셋을 기반으로 훈련 및 평가된다.
• 주관적 평가는 116명의 참가자가 매칭 정도, 사용성, 창의성 측면에서 루프 조합을 평가하는 사용자 연구를 통해 수행된다.

실험 결과

연구 질문

• RQ1 합성된 양성 및 음성 쌍 데이터셋으로 훈련된 딥 러닝 모델이 청각적 호환성을 효과적으로 예측할 수 있는가?
• RQ2 특히 CNN과 시아모이스 네트워크와 같은 다양한 신경망 아키텍처가 루프 호환성 예측에서 어떻게 비교되는가?
• RQ3 음성 샘플링 전략의 선택이 호환성 예측 모델 성능에 뚜렷한 영향을 미치는가?
• RQ4 모델 기반 추천이 실제 음악에서 추출된 루프 조합과 비교해 인식된 품질과 사용성 측면에서 어떻게 다른가?
• RQ5 루프 호환성 예측에서 객관적 지표와 주관적 사용자 인식 사이에 괴리가 존재하는가?

주요 결과

• 주관적 사용자 평가에서 CNN 모델은 시아모이스 신경망을 크게 앞서며, 매칭 정도에 대한 평균 의견 점수(MOS)가 4.0으로, FMA에서 추출한 원본 루프 쌍(MOS = 3.15)보다 높았다.
• 역방향 음성 샘플링을 사용한 CNN은 가장 높은 인식된 매칭 정도와 사용성을 기록했으며, 실제 음악에서 추출한 원본 루프 조합조차도 뛰어넘었다.
• AutoMashUpper는 모든 주관적 지표에서 가장 열악한 성능을 보였으며, 이는 규칙 기반 유사성과 스펙트럼 균형만으로는 청각적 호환성을 예측하는 데 부족하다는 것을 시사한다.
• 더 나은 객관적 순위 성능를 보였음에도 불구하고, 시아모이스 네트워크는 CNN만큼 청각적으로 호환되는 조합을 생성하지 못했으며, 객관적 평가와 주관적 평가 사이에 괴리가 있음을 드러냈다.
• 모델 간 창의성 점수에 유의미한 차이가 없었으며, 이는 CNN 출력의 향상된 매칭 정도가 새로운 개념 때문만은 아님을 시사한다.
• 결과적으로 CNN의 뛰어난 성능는 인간 제작자가 수동으로 평가할 수 있는 범위를 넘어서 더 넓은 루프 조합 공간을 탐색할 수 있다는 능력에서 비롯된 것으로 보인다.