[논문 리뷰] In Search of a Dataset for Handwritten Optical Music Recognition: Introducing MUSCIMA++

Jan Hajič, Pavel Pecina|arXiv (Cornell University)|2017. 03. 14.

Music and Audio Processing참고 문헌 26인용 수 5

한 줄 요약

이 논문은 140개의 수작업으로 표기된 음악 표기법 페이지를 포함하는 대규모이고 오픈소스인 MUSCIMA++를 소개한다. 이 데이터셋에는 수작업으로 표기된 기호 91,255개와 기호 간 관계 82,261개가 포함되어 있으며, 기호 인식, 위치 추정, 음악 표기 그래프 조립을 위한 OMR 시스템의 훈련과 평가를 가능하게 한다. 이 데이터셋은 OMR 하위 작업의 고립 모델링과 동시 모델링을 모두 지원하며, 오픈소스 도구와 포괄적인 표기 프레임워크와 함께 제공된다.

ABSTRACT

Optical Music Recognition (OMR) has long been without an adequate dataset and ground truth for evaluating OMR systems, which has been a major problem for establishing a state of the art in the field. Furthermore, machine learning methods require training data. We analyze how the OMR processing pipeline can be expressed in terms of gradually more complex ground truth, and based on this analysis, we design the MUSCIMA++ dataset of handwritten music notation that addresses musical symbol recognition and notation reconstruction. The MUSCIMA++ dataset version 0.9 consists of 140 pages of handwritten music, with 91255 manually annotated notation symbols and 82261 explicitly marked relationships between symbol pairs. The dataset allows training and evaluating models for symbol classification, symbol localization, and notation graph assembly, both in isolation and jointly. Open-source tools are provided for manipulating the dataset, visualizing the data and further annotation, and the dataset itself is made available under an open license.

연구 동기 및 목표

• 수작업으로 작성된 음악 표기 인식(OMR)을 위한 종합적이고 공개 가능한 데이터셋이 장기간 부족한 문제를 해결하기 위해.
• 다양한 복잡도 수준에서 OMR 시스템의 훈련과 평가를 지원하는 기준 데이터셋을 확립하기 위해.
• 기호 분류, 위치 추정, 음악 표기 그래프 조립의 하위 작업을 고립적으로나 함께 평가할 수 있도록 OMR 시스템의 벤치마킹을 가능하게 하기 위해.
• 고품질의 세밀한 표기 정보를 제공함으로써 OMR를 위한 기계학습 모델 개발을 지원하기 위해.
• 표준화되고 확장 가능한 데이터셋의 가용성을 통해 향후 표기 자동화를 촉진하기 위해.

제안 방법

• 데이터셋은 CVC-MUSCIMA 컬렉션에서 유래되었으며, 수작업으로 작성된 음악 페이지를 입력 이미지로 사용하였다.
• 91,255개의 음악 기호에 대해 수작업으로 표기되었으며, 경계 상자와 클래스 레이블이 포함되었다.
• 스태프라인 부착, 노트헤드-악기, 트윗렛-노트헤드 등의 기호 쌍 간의 명시적 관계가 표기되었으며, 총 82,261개의 관계가 포함되었다.
• 음악 표기의 계층적이고 관계적인 구조를 표현하기 위해 고안된 전용 데이터 모델이 개발되었으며, 다수 수준의 기준 데이터를 지원하였다.
• 데이터 조작, 시각화, 향후 표기 확장에 적합한 오픈소스 도구가 개발되었다.
• 이 데이터셋은 오픈 라이선스 하에 배포되어 향후 OMR 연구 파이프라인에 재사용 및 통합이 가능하도록 하였다.

실험 결과

연구 질문

• RQ1 수작업으로 작성된 OMR를 위한 종합적이고 세밀한 기준 데이터셋을 어떻게 구성할 수 있을까? 이는 기계학습 모델의 훈련과 평가를 지원하기 위함이다.
• RQ2 OMR에서 기호 분류, 위치 추정, 음악 표기 그래프 조립의 정확한 모델링을 가능하게 하기 위해 필요한 표기의 세밀함 수준은 어느 정도일까?
• RQ3 명시적인 기호 간 관계를 포함한 데이터셋이 수작업으로 작성된 표기에서 음고와 음값 정보를 재구성하는 데 도움이 될 수 있을까?
• RQ4 어떻게 데이터셋을 구성하면 OMR 하위 작업의 고립 평가와 통합 평가를 모두 지원할 수 있을까?
• RQ5 현재의 표기 형식은 어떤 한계를 가지며, MEI와 같은 표준으로의 이행을 통해 이를 어떻게 보완할 수 있을까?

주요 결과

• MUSCIMA++ v.0.9는 140페이지, 91,255개의 표기된 기호, 82,261개의 명시적 기호 관계를 포함하여 수작업 OMR를 위한 가장 광범위한 공개 기준 데이터셋을 제공한다.
• 이 데이터셋은 기호 분류, 위치 추정, 음악 표기 그래프 조립의 모델 훈련과 평가를 고립적으로나 병합적으로 모두 가능하게 한다.
• 특히 노트헤드와 악기, 트윗렛 간의 관계를 통해 음고와 음값 정보를 부분적으로 재구성할 수 있다.
• 이 데이터셋은 재생 가능성(음고 및 음값 순서)과 재인쇄 가능성(타입세트 가능한 음악 표현)을 목표로 하는 OMR 시스템 개발을 지원한다.
• 이 데이터셋과 관련 도구의 가용성은 향후 경진대회와 표준화된 평가의 기반을 마련한다.
• 저자들은 향후 개선 사항으로 MEI 형식으로의 이행, 고대 음악 자료의 확장, 학습된 모델을 통한 표기 자동화를 제시한다.