[논문 리뷰] An Experimental Analysis of the Entanglement Problem in Neural-Network-based Music Transcription Systems

Rainer Kelz, Gerhard Widmer|arXiv (Cornell University)|2017. 01. 31.

Music and Audio Processing인용 수 9

한 줄 요약

이 논문은 신경망 기반 음악 변환 시스템에서 발생하는 엔트레일먼트 문제를 조사한다. 표준 벤치마크에서 높은 성능을 보이지만, 새로운 노트 조합에 일반화하지 못하는 현상이다. 피아노 변환에 대한 실험을 통해, 혼합된 노트 조합으로 훈련된 모델이 개별 노트를 분리하지 못함으로써 새로운 코드 조합에서 높은 누락 비율을 보이며, 현재 딥러닝 접근 방식의 다성분 음악 변환에서 근본적인 한계를 드러낸다.

ABSTRACT

Several recent polyphonic music transcription systems have utilized deep neural networks to achieve state of the art results on various benchmark datasets, pushing the envelope on framewise and note-level performance measures. Unfortunately we can observe a sort of glass ceiling effect. To investigate this effect, we provide a detailed analysis of the particular kinds of errors that state of the art deep neural transcription systems make, when trained and tested on a piano transcription task. We are ultimately forced to draw a rather disheartening conclusion: the networks seem to learn combinations of notes, and have a hard time generalizing to unseen combinations of notes. Furthermore, we speculate on various means to alleviate this situation.

연구 동기 및 목표

• 표준 프레임 기반 결과는 뛰어나지만 성능이 정체되는 최신 신경망 기반 다성분 음악 변환 모델의 원인을 조사하기 위해.
• 딥 뉴럴 네트워크가 개별 노트를 학습하는지, 아니면 특정 노트 조합만을 학습하는지, 특히 훈련 데이터가 제한된 상황에서 확인하기 위해.
• 아키텍처의 차이가 음악 변환에서 새로운 노트 조합에 대한 일반화에 영향을 주는지 평가하기 위해.
• 특히 새로운 코드 진행을 처리할 때 성능 정체가 발생하는 근본 원인을 특정하기 위해.

제안 방법

• MAPS-MUS 데이터셋을 사용해 프레임 기반 피아노 변환을 위한 세 가지 신경망 아키텍처—ConvNet, SmallConvNet, AUNet—을 훈련시켰다.
• 실제 데이터셋을 활용해 개별 노트와 조합에 대한 훈련 효과를 분리하고, 통제된 아블레이션 연구를 가능하게 하였다.
• 표준 딥러닝 기법을 적용: ReLU 활성화 함수를 사용한 완전 연결 및 컨볼루션 레이어, 교차 엔트로피 손실을 사용한 지도 학습.
• 특수한 다중 척도 시간 및 주파수 정보를 통합하여 특징 표현을 향상시키기 위해 UNet 아키텍처를 수정한 AUNet을 구현하였다.
• 훈련 및 검증 세트에서 공유된 조합과 공유되지 않은 조합에 대해 정확한 변환, 노트 누락, 노트 추가 비율을 평가하였다.
• 혼동 행렬과 프레임 수준의 오류 분해를 통해 새로운 노트 조합을 분리하지 못하는 체계적인 실패 패턴을 분석하였다.

실험 결과

연구 질문

• RQ1 음악 변환을 위한 신경망이 개별 노트를 분리하는지, 아니면 특정 노트 조합만을 학습하는가?
• RQ2 훈련 데이터에 포함되지 않은 새로운, 볼 수 없는 노트 조합에 대해 테스트했을 때 모델 성능이 어떻게 저하되는가?
• RQ3 아키텍처 선택(예: UNet 대비 ConvNet)이 새로운 노트 조합에 대한 일반화에 얼마나 영향을 주는가?
• RQ4 최신 시스템의 성능 한계는 잠재 공간에서의 노트 표현 엔트레일먼트 때문인가?
• RQ5 훈련 데이터 구성(단독 노트 대비 코드)이 모델이 새로운 조합에 일반화하는 데 어떤 역할을 하는가?

주요 결과

• 노트 조합으로만 훈련된 모델는 새로운 코드 조합에서 높은 누락 비율을 보이며, 새로운 노트 그룹화에 대한 일반화 능력이 떨어지는 것으로 나타났다.
• 최신 모델인 ConvNet과 AUNet조차 공유된 조합에서는 높은 성능를 보이지만, 공유되지 않은 조합에서는 치명적인 실패를 보이며, 일부 드문 조합의 경우 누락 비율이 50%를 초과했다.
• AUNet 아키텍처는 공유된 조합에서는 ConvNet보다 약간 더 높은 정확한 변환 비율을 보였지만, 공유되지 않은 조합에서는 유사한 실패 패tern을 보이며, 아키텍처 자체가 엔트레일먼트 문제를 해결하지 못하는 것으로 나타났다.
• 단독 노트 훈련은 경미한 일반화 문제만을 야기하며, 핵심 문제는 음향 변동성 때문이 아니라 표현의 엔트레일먼트 때문임을 시사한다.
• 모델의 일반화 실패가 최적의 초모수 설정이 아니기 때문에 발생하는 것은 아니며, 두 모델 모두 표준 벤치마크에서 최신 기준을 충족하거나 초월하였다.
• 결과적으로 현재의 훈련 패러다임—고정된 음악 조각 세트에 의존하는 방식—은 모델이 조합을 암기하도록 유도하며, 개별 노트 표현을 분리하지 못하는 엔트레일먼트를 유발한다는 점을 시사한다.