[논문 리뷰] Deep Watershed Detector for Music Object Recognition

Lukas Tuggener, Ismail Elezi외 2명|arXiv (Cornell University)|2018. 05. 26.

Music and Audio Processing참고 문헌 25인용 수 14

한 줄 요약

이 논문은 딥 러닝을 활용해 워터셰 변환을 위한 합성 에너지 맵을 생성함으로써 고해상도 페이지에서 작은 음악 기호를 고정밀도로 검출할 수 있는 새로운 엔드투엔드 객체 검출 방법인 딥 워터셰 디텍터(DWD)를 소개한다. DWD는 최소한의 전처리와 클래스 불균형 보정 없이도 디지털 및 수작업 음악 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Optical Music Recognition (OMR) is an important and challenging area within music information retrieval, the accurate detection of music symbols in digital images is a core functionality of any OMR pipeline. In this paper, we introduce a novel object detection method, based on synthetic energy maps and the watershed transform, called Deep Watershed Detector (DWD). Our method is specifically tailored to deal with high resolution images that contain a large number of very small objects and is therefore able to process full pages of written music. We present state-of-the-art detection results of common music symbols and show DWD's ability to work with synthetic scores equally well as on handwritten music.

연구 동기 및 목표

• 고해상도 음악 스코어에서 수많은 작은, 密집된 음악 기호를 검출하는 과제를 해결하기 위해.
• 수작업으로 만든 전처리와 실패하는 복잡하거나 수작업 스코어에서 실패하는 전통적인 룰 기반 OMR 파이프라인의 한계를 극복하기 위해.
• 맥락 내에서 음악 기호를 검출하는 엔드투엔드 딥 러닝 방법을 개발하여 오류 전파를 줄이고 다양한 음악 유형 간 일반화 능력을 향상시키기 위해.
• 재학습이나 아키텍처 변경 없이도 디지털 렌더링 및 수작업 음악 표기에서 모델의 강인성을 평가하기 위해.
• 심각한 클래스 불균형이 검출 성능에 미치는 영향을 조사하고 희귀 기호 인식을 위한 해결책을 탐색하기 위해.

제안 방법

• 이 방법은 합성곱 신경망을 사용하여 각 픽셀의 클래스 맵과 워터셰 변환을 위한 에너지 맵을 예측한다.
• 에너지 맵은 미분 가능한 워터셰 레이어를 통해 엔드투엔드로 학습되며, 분할 과정을 거쳐 역전파가 가능해진다.
• 에너지 맵에 워터셰 변환을 적용하여 객체 제안을 생성하며, 각 연결 요소는 검출된 기호에 해당한다.
• 분류 손실과 에너지 맵 정규화를 위한 경계 손실을 포함하는 병합 손실 함수를 사용해 네트워크를 훈련시킨다.
• 입력 이미지는 인터라인 정규화를 통해 정규화되며, 그 외에는 자르기나 패치 처리 없이 전체 페이지 형태로 처리된다.
• 아키텍처는 딥스코어(디지털) 및 MUSCIMA++(수작업) 데이터셋 간에 공유되어 도메인 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 접근법이 엔드투엔드로 전체 스코어 이미지에서 복잡한 수작업 전처리 파이프라인의 필요성을 제거할 수 있는가?
• RQ2 합성 에너지 맵을 기반으로 학습한 워터셰 기반 디텍터가 인쇄 및 수작업 음악 표기에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ3 음악 기호 데이터셋에서 심각한 클래스 불균형이 검출 성능에 미치는 영향은 무엇이며, 특히 희귀 기호에 대해서는 어떠한가?
• RQ4 오직 객체 중심만을 예측하도록 훈련했음에도 불구하고 모델이 음악 표기의 의미 있는 맥락적 표현을 학습하는가?
• RQ5 DWD 방법은 음악 인식을 초월해 고해상도, 소형 객체 검출 작업에 일반화 가능한가?

주요 결과

• DWD는 데이터 증강이나 클래스 균형 조정 없이도 딥스코어(디지털 렌더링) 및 MUSCIMA++(수작업) 데이터셋에서 최신 기술 수준의 검출 성능을 달성한다.
• 레지스트라인을 매우 높은 정밀도(AP@1/4)로 검출함으로써 음악 표기의 구조적 요소를 잘 학습하고 있음을 시사한다.
• 클래스 균형 조정이 없음에도 불구하고 노트헤드와 같은 일반 기호에 대해 높은 평균 정밀도를 유지하지만, 희귀 기호에 대해서는 성능이 크게 떨어진다.
• 훈련 과정에서 희귀 기호를 잊는 경향이 있으며, 이는 훈련 후반에 희귀 기호를 만났을 때 손실가 증가하는 것으로 나타나, 이들이 이상치로 간주됨을 시사한다.
• 중심점만 감독받는 상황에서도 클래스 맵 예측에서 일관된 빔 세그멘테이션을 보이며, 원시적인 세그멘테이션 마스크를 학습하고 있음을 보여준다.
• 다중 단계 파이프라인에서 오류 전파를 피하고 엔드투엔드 효율성이 뛰어나 이전의 R-CNN 기반 접근법보다도 우수한 성능을 보인다.