[논문 리뷰] DoReMi: First glance at a universal OMR dataset

Elona Shatri, György Fazekas|arXiv (Cornell University)|2021. 07. 16.

Radiomics and Machine Learning in Medical Imaging참고 문헌 19인용 수 4

한 줄 요약

DoReMi는 6,400장 이상의 인쇄된 악보 이미지로 구성된 대규모이고 통합적인 OMR 데이터셋을 제공하며, 경계 상자, MIDI, MEI, MusicXML, PNG 파일 등 풍부한 다층 메타데이터를 포함한다. 반수 데이터로도 객체 검출에서 평균 정밀도 64%를 달성하여 MUSCIMA++ 및 DeepScores와의 통합을 가능하게 하여 종단 간 OMR 연구를 지원하고 평가 일관성을 향상시킨다.

ABSTRACT

The main challenges of Optical Music Recognition (OMR) come from the nature of written music, its complexity and the difficulty of finding an appropriate data representation. This paper provides a first look at DoReMi, an OMR dataset that addresses these challenges, and a baseline object detection model to assess its utility. Researchers often approach OMR following a set of small stages, given that existing data often do not satisfy broader research. We examine the possibility of changing this tendency by presenting more metadata. Our approach complements existing research; hence DoReMi allows harmonisation with two existing datasets, DeepScores and MUSCIMA++. DoReMi was generated using a music notation software and includes over 6400 printed sheet music images with accompanying metadata useful in OMR research. Our dataset provides OMR metadata, MIDI, MEI, MusicXML and PNG files, each aiding a different stage of OMR. We obtain 64% mean average precision (mAP) in object detection using half of the data. Further work includes re-iterating through the creation process to satisfy custom OMR models. While we do not assume to have solved the main challenges in OMR, this dataset opens a new course of discussions that would ultimately aid that goal.

연구 동기 및 목표

• 일관되지 않은 데이터셋과 평가 프로토콜로 인한 OMR 연구의 분열 문제를 해결하기 위해.
• 모든 OMR 단계—객체 검출에서 의미적 인코딩에 이르기까지—를 지원하는 종합적이고 다중 포맷의 데이터셋을 제공하기 위해.
• 기존 데이터셋인 MUSCIMA++ 및 DeepScores와의 통합을 통해 벤치마킹 및 모델 비교의 향상을 위해.
• 종단 간 딥러닝을 위한 시각적 데이터와 함께 고해상도 기계 가공 가능한 메타데이터(MIDI, MEI, MusicXML)를 생성하기 위해.
• 다양한 음악적 요소를 위한 풍부하고 구조화된 주석을 제공하여 통합 OMR 모델 개발을 지원하기 위해.

제안 방법

• 정확한 시각적 요소와 의미적 메타데이터 간의 정렬을 보장하기 위해 음악 표기 소프트웨어를 사용하여 데이터셋을 생성하였다.
• 각 악보 이미지에는 노트헤드, 켈프, 슬루프, 트윗플릿 등 37개의 구분된 음악 기호 클래스에 대한 경계 상자가 포함되어 있다.
• PNG 이미지, OMR 메타데이터, MIDI, MEI, MusicXML 등 다양한 출력 포맷을 제공하여 OMR 파이프라인과의 완전한 호환성을 확보하였다.
• 반수 데이터로 기준 객체 검출 모델이 평균 정밀도(mAP) 64%를 달성하여 데이터셋의 유용성을 검증하였다.
• 타입세트 및 의미 수준의 주석을 모두 지원하여 재구성 및 고차원 음악 이해 연구를 가능하게 하였다.
• 저자들은 MUSCIMA++ 및 DeepScores와의 호환성을 고려하여 설계하여 교차 데이터셋 평가 및 모델 이식을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 통합적이고 다중 포맷의 OMR 데이터셋이 OMR 연구 간 일관성과 비교 가능성 향상에 기여할 수 있는가?
• RQ2 풍부한 메타데이터를 갖춘 대규모 합성 OMR 데이터셋이 종단 간 OMR 모델 훈련을 얼마나 잘 지원할 수 있는가?
• RQ3 기준 객체 검출 모델이 DoReMi와 같은 새로운 종합적 OMR 데이터셋에서 얼마나 잘 성능을 내는가?
• RQ4 DoReMi가 MUSCIMA++ 및 DeepScores와 같은 기존 데이터셋과 효과적으로 통합되어 교차 데이터셋 평가가 가능한가?
• RQ5 노트 편도, 지속시간, 다이내믹스 등 의미적 메타데이터 포함 여부가 OMR 모델 성능 및 일반화에 어떤 영향을 미치는가?

주요 결과

• DoReMi 데이터셋은 37개의 음악 기호 클래스에 대한 세부 주석이 포함된 6,400장 이상의 인쇄된 악보 이미지를 포함한다.
• PNG, OMR 메타데이터, MIDI, MEI, MusicXML 등 다양한 출력 포맷을 제공하여 OMR의 모든 단계를 지원한다.
• 반수 데이터로 기준 객체 검출 모델이 평균 정밀도(mAP) 64%를 달성하여 검출 작업에 대한 데이터셋의 유용성을 입증하였다.
• MUSCIMA++ 및 DeepScores와의 통합을 통해 교차 데이터셋 평가 및 모델 호환성을 지원한다.
• 노트 편도, 지속시간, 다이내믹스, 발음 등 의미적 메타데이터가 시각적 요소에 정확히 연결되어 고차원 OMR 작업을 가능하게 한다.
• 음악 표기 소프트웨어의 사용으로 인해 시각적 데이터와 의미적 데이터 간 고정밀도 정렬이 이루어져 실세계 데이터셋에서 흔한 주석 오류를 줄였다.