[논문 리뷰] Optical Music Recognition: State of the Art and Major Challenges

Elona Shatri, György Fazekas|arXiv (Cornell University)|2020. 06. 14.

Music and Audio Processing참고 문헌 72인용 수 6

한 줄 요약

이 논문은 광학 음악 인식(OMR) 분야의 최신 동향을 검토하며, 전통적인 컴퓨터 비전 기법에서 딥 러닝 기법으로의 전환을 강조한다. 복잡한 스코어, 수작업 음악 표기, 표준화 부족 등의 핵심 과제를 규명하고, 통합된 데이터셋, 향상된 평가 지표, 엔드 투 엔드 학습을 통해 분야 발전을 제안한다.

ABSTRACT

Optical Music Recognition (OMR) is concerned with transcribing sheet music into a machine-readable format. The transcribed copy should allow musicians to compose, play and edit music by taking a picture of a music sheet. Complete transcription of sheet music would also enable more efficient archival. OMR facilitates examining sheet music statistically or searching for patterns of notations, thus helping use cases in digital musicology too. Recently, there has been a shift in OMR from using conventional computer vision techniques towards a deep learning approach. In this paper, we review relevant works in OMR, including fundamental methods and significant outcomes, and highlight different stages of the OMR pipeline. These stages often lack standard input and output representation and standardised evaluation. Therefore, comparing different approaches and evaluating the impact of different processing methods can become rather complex. This paper provides recommendations for future work, addressing some of the highlighted issues and represents a position in furthering this important field of research.

연구 동기 및 목표

• 최근 광학 음악 인식(OMR) 분야의 발전을 종합적으로 검토하고, 전통적인 컴퓨터 비전 기법에서 딥 러닝 접근법으로의 전환에 초점을 맞춘다.
• 저품질 이미지, 수작업 음악, 복잡한 다성분 스코어, 표기법의 구조적 모호성과 같은 OMR에서 지속적으로 발생하는 과제를 규명한다.
• 입력/출력 표현 방식과 평가 프로토콜의 표준화 부족으로 인해 다양한 방법 간의 공정한 비교가 어려워지는 점을 강조한다.
• 중간 단계 OMR 단계와 엔드 투 엔드 인식을 모두 위한 통합적이고 균형 잡히며 다양한 데이터셋을 구축할 것을 제안한다.
• 딥 러닝 모델에 음악 지식과 구조적 규칙을 통합하고 평가 지표를 표준화하여 재현 가능성과 OMR 분야의 진전을 향상시키자고 주장한다.

제안 방법

• OMR 분야의 기초적이고 최신의 연구를 체계적으로 검토하며, 파ip라인 단계별로 분류한다: 이미지 전처리, 음악 기호 인식, 음악 정보 재구성, 표기 모델 구축.
• 구조적 프레임워크를 사용해 OMR 파이프라인 단계를 분석하고, 표현, 평가, 모ularity 측면에서의 격차를 규명한다.
• 기존 벤치마크(MUSCIMA++, DeepScores 등)와 연계해 표기 소프트웨어(예: Dorico, Rosegarden)를 활용해 고해상도 음악 스코어를 생성함으로써 새로운 통합 데이터셋 기구를 제안한다.
• 모든 OMR 단계(객체 탐지, 세그멘테이션, 시퀀스 모델링 포함)에 딥 러닝을 활용해 엔드 투 엔드 인식을 가능하게 하자고 권고한다.
• 신경망 아키텍처에 스트립 라인 기하학, 노트 지속 시간 규칙, 키/시계 표기 제약 조건 등의 음악 사전 지식을 통합할 필요성을 강조한다.
• 평가 지표와 출력 형식(예: MusicXML, MIDI)을 표준화해 시스템 간 공정한 벤치마킹과 재현 가능성을 확보하자고 주장한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기법은 기존의 전통적 컴퓨터 비전 기법과 비교해 OMR 시스템의 성능과 아키텍처에 어떤 영향을 미쳤는가?
• RQ2 수작업 음악, 복잡한 다성분 스코어, 저품질 이미지 문제와 같은 OMR 분야에서 해결되지 않은 주요 과제는 무엇인가?
• RQ3 왜 OMR 분야에는 입력/출력 표현 방식과 평가 프로토콜의 표준화가 부족한가? 이로 인해 어떤 방해가 발생하는가?
• RQ4 통합적이고 대규모이며 균형 잡힌 데이터셋이 OMR 모델의 강건성과 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ5 2차원 공간적 시퀀스로 된 음악 표기 데이터에 대해 엔드 투 엔드 딥 러닝 모델을 효과적으로 학습시킬 수 있는가? 이를 위해 어떤 아키텍처 혁신이 필요한가?

주요 결과

• 딥 러닝은 단성분 및 인쇄된 음악에 대해 성능을 크게 향상시켰지만, 수작업 및 복잡한 피아노 형식 스코어에 대해서는 여전히 과제가 남아 있다.
• OMR 분야에는 표준화된 평가 프로토콜과 일관된 출력 형식이 부족하여 다양한 방법 간 비교가 어렵고 재현 가능성에 제한을 받는다.
• CVC-MUSCIMA, MUSCIMA++, DeepScores, PrIMuS와 같은 기존 데이터셋은 유용하지만, 다양성이 부족하고 클래스 분포가 균형 잡히지 못해 문제가 있다.
• 클래스 불균형은 OMR에서 주요 문제이며, 희귀 기호 유형이 훈련 데이터에서 부족하게 표현되어 모델의 일반화 능력에 영향을 준다.
• 제안된 통합 데이터셋 기구는 스타일, 이미지 품질, 표기 복잡도 등에 대해 제어 가능한 변동성을 가진 고품질의 합성 음악 스코어를 생성하는 것을 목표로 한다.
• 2D 공간적 관계와 순차적 음악적 관계를 하나의 딥 러닝 프레임워크로 모델링하는 데 어려움이 있어 엔드 투 엔드 OMR는 여전히 열려 있는 과제이다.