[논문 리뷰] Score-informed Networks for Music Performance Assessment

Jiawen Huang, Yun-Ning Hung외 3명|arXiv (Cornell University)|2020. 08. 01.

Music and Audio Processing참고 문헌 27인용 수 5

한 줄 요약

이 논문은 음악 점수 정보와 오디오 연주 특징을 통합하여 객관적인 음악 연주 평가(MPA)를 위한 세 가지 딥러닝 모델을 제안한다. 정렬된 음고 컨투어와 점수를 입력으로 사용하여, 합성곱 신경망, 공동 임베딩, 거리 행렬 기반 CNN 등 다양한 모델이 점수 기반 접근 방식이 점수 무관 기반 모델보다 유의미하게 뛰어난 성능을 보임을 입증한다. 특히 공동 임베딩 모델이 학생 오디션 데이터셋에서 평균적으로 가장 높은 성능을 기록한다.

ABSTRACT

The assessment of music performances in most cases takes into account the underlying musical score being performed. While there have been several automatic approaches for objective music performance assessment (MPA) based on extracted features from both the performance audio and the score, deep neural network-based methods incorporating score information into MPA models have not yet been investigated. In this paper, we introduce three different models capable of score-informed performance assessment. These are (i) a convolutional neural network that utilizes a simple time-series input comprising of aligned pitch contours and score, (ii) a joint embedding model which learns a joint latent space for pitch contours and scores, and (iii) a distance matrix-based convolutional neural network which utilizes patterns in the distance matrix between pitch contours and musical score to predict assessment ratings. Our results provide insights into the suitability of different architectures and input representations and demonstrate the benefits of score-informed models as compared to score-independent models.

연구 동기 및 목표

• 음악 점수를 음악 연주 평가(MPA)에 통합하는 딥러닝 모델의 부족을 해결하기 위해.
• 점수 기반 신경망이 점수 무관 모델보다 MPA 성능을 향상시키는지 조사하기 위해.
• MPA에서 오디오와 점수 정보를 통합하기 위한 다양한 아키텍처와 입력 표현 방식을 평가하기 위해.
• 조각 크기와 거리 행렬 해상도가 모델 성능에 미치는 영향을 분석하기 위해.
• 음악 교육 및 연주 분석 분야에서 객관적이고 확장 가능한 MPA 도구의 기반을 마련하기 위해.

제안 방법

• 정렬된 음고 컨투어와 음악 점수의 시간 시리즈 표현을 연결하여 처리하는 합성곱 신경망(SIConvNet).
• 음고 컨투어와 점수에 대한 공통 잠재 표현을 학습하는 공동 임베딩 모델로, 평가 점수는 임베딩 간 코사인 유사도를 통해 예측된다.
• 거리 행렬 기반의 합성곱 신경망(DistMatNet)은 음고 컨투어와 점수의 미분 표현을 입력으로 사용하여 프레임 수준의 이탈을 캡처한다.
• 오디오와 점수 간의 정렬을 위해 동적 시간 왜곡(DTW)을 사용하여 음고 컨투어를 점수와 동기화한 후 특징 추출을 수행한다.
• 교사가 할당한 평가 점수를 포함한 중학교 및 고등학교 학생 오디션의 대규모 데이터셋을 기반으로 모델을 훈련시킨다.
• 절단 크기(최적 10초)와 매트릭스 해상도(최적 600×600)와 같은 하이퍼파라미터는 추론 실험을 통해 평가된다.

실험 결과

연구 질문

• RQ1 점수 정보를 통합한 딥 네트워크가 음악 연주 평가에서 점수 무관 모델보다 뛰어난 성능을 내는가?
• RQ2 입력 연결, 공동 임베딩, 거리 행렬 중 어떤 아키텍처가 MPA에서 가장 높은 성능을 낼 수 있는가?
• RQ3 입력 조각 크기가 점수 기반 MPA 모델의 성능에 어떤 영향을 미치는가?
• RQ4 DistMatNet 모델의 거리 행렬 입력에 대해 최적의 해상도는 무엇인가?
• RQ5 다양한 입력 표현 방식은 모델이 음악성 및 리듬 정확도와 같은 다양한 성능 기준을 예측하는 데 어떤 영향을 미치는가?

주요 결과

• 모든 점수 기반 모델이 점수 무관 기반 모델보다 음악 연주 평가에서 유의미하게 뛰어난 성능을 보였다.
• 공동 임베딩 모델이 중학교 및 심포니 밴드 데이터셋 양쪽에서 평균적으로 가장 높은 성능을 기록했다.
• 10초 조각 크기가 5초 조각 크기보다 뛰어나, 더 긴 오디오 세그먼트가 전반적인 연주 품질을 더 잘 반영하는 것으로 나타났다.
• 거리 행렬 기반 모델의 경우 600×600 해상도 입력이 가장 뛰어난 성능을 보였으며, 세부 정보와 모델 용량 사이의 균형을 잘 맞췄다.
• 리듬 정확도 성능은 높은 매트릭스 해상도에서 감소했으며, 이는 복잡도 증가가 학습을 방해할 수 있음을 시사한다.
• 거리 행렬 표현 방식은 성능 이탈을 효과적으로 캡처하지만, 대각선에서 멀리 떨어진 부분에 중복 정보가 포함되어 있어 학습을 복잡하게 만들 수 있다.