[논문 리뷰] Live Score Following on Sheet Music Images

Matthias Dorfer, Andreas Arzt외 3명|arXiv (Cornell University)|2016. 12. 15.

Music and Audio Processing참고 문헌 5인용 수 7

한 줄 요약

이 논문은 단일 스트립의 단성 음악을 실시간으로 추적할 수 있는 새로운 엔드 투 엔드 딥 러닝 접근법을 제시한다. 이 방법은 시트 음악 이미지와 오디오 스트림을 직접 처리하기 위해 다중 모odal 컨볼루션 신경망을 사용하며, 세 개의 간단한 곡에 대한 개념 증명 데모를 통해 실시간 추적 성능을 확보하였다.

ABSTRACT

In this demo we show a novel approach to score following. Instead of relying on some symbolic representation, we are using a multi-modal convolutional neural network to match the incoming audio stream directly to sheet music images. This approach is in an early stage and should be seen as proof of concept. Nonetheless, the audience will have the opportunity to test our implementation themselves via 3 simple piano pieces.

연구 동기 및 목표

• 기호 음악 표현을 필요로 하지 않고 시트 음악 이미지에 직접 작용하는 스코어 포우징 시스템을 개발하는 것.
• 오디오 스펙트로그램과 시각적 스코어 특징을 융합하는 다중 모달 신경망을 사용해 실시간 오디오-스코어 정렬을 가능하게 하는 것.
• 하드웨어 및 모델 크기 제약에도 불구하고 이미지 기반 스코어 포우징의 가능성을 개념 증명으로 입증하는 것.
• 향후 다성음 및 다중 스트립 음악으로의 일반화 잠재력을 탐색하는 것.
• 네트워크의 잘못된 예측를 보완하기 위해 온라인 동적 시간 왜곡을 활용한 후처리를 통해 추적 안정성을 높이는 것.

제안 방법

• 마이크를 통해 실시간 오디오를 캡처하고, 22.05kHz에서 2048샘플 FFT 윈도우와 15프레임/초의 속도로 로그-스펙트로그램으로 전처리한다.
• 차원을 줄이기 위해 80Hz–8kHz 범위의 정규화된 24밴드 로그 필터뱅크를 적용하여 주파수 범위를 136밴드로 축소한다.
• 모델의 입력으로 40개의 오디오 프레임(~2.7초)의 컨텍스트를 사용하며, 이는 오디오를 시각적 스코어 위치와 매칭시키기 위해 훈련된 다중 모달 CNN에 의해 처리된다.
• 시트 음악 이미지의 단일 스트립 영역을 선형으로 40개의 박자로 분할하여 가능한 위치를 표현한다.
• 네트워크는 오디오 컨텍스트와 각 스코어 박자 간의 매칭 확률을 계산하여 가장 가능성 높은 스코어 위치를 출력한다.
• 예측의 부드러움을 높이고 잘못된 분류로 인한 추적 이격을 줄이기 위해 온라인 동적 시간 왜곡을 후처리 단계로 적용한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 기호 음악 표현 없이 실시간 오디오를 시트 음악 이미지에 직접 매칭시킬 수 있는가?
• RQ2 다중 모달 CNN이 오디오 스펙트로그램과 시트 음악의 시각적 특징을 매칭시켜 실시간 스코어 포우징에 얼마나 효과적인가?
• RQ3 이러한 시스템은 템포 변화에 얼마나 잘 대응하고 실시간에서 추적 안정성을 유지할 수 있는가?
• RQ4 향후 다성음 및 다중 스트립 음악으로의 확장은 가능한가?
• RQ5 온라인 동적 시간 왜곡을 활용한 후처리가 추적의 강인성에 실제로 뚜렷한 향상 효과를 주는가?

주요 결과

• 시스템은 단일 스트립 단성 피아노 곡 세 편—Twinkle Twinkle Little Star, 바흐의 G장조의 미뉴에트, 더 리들—에 대해 오디오와 시트 음악 이미지만을 사용하여 실시간 스코어 포우징을 성공적으로 구현하였다.
• 하드웨어 제약으로 인해 각 곡에 대해 별도로 모델을 훈련시었으며, 일반화를 위해 더 효율적인 아키텍처가 필요함을 시사한다.
• 모델 내 역사 통합 기능이 없음에도 불구하고, 온라인 동적 시간 왜곡을 활용한 후처리가 추적 안정성을 효과적으로 향상시키고 이격 현상을 감소시켰다.
• 초기 실험 결과를 바탕으로 다성음 및 다중 스트립 스코어에 대해서도 성공 가능성이 있음을 보여주어 원칙적으로 일반화 가능성이 있음을 입증하였다.
• 간단한 단일 스트립 음악에서 기능적인 추적 성능을 달성하여 이미지 기반 스코어 포우징의 핵심 아이디어가 실현 가능하고 타당한 연구 분야임을 검증하였다.
• GPU가 없는 데모 환경으로 인해 실시간 추론이 특정 곡에 대해 사전 훈련된 모델에 국한되어 있어, 모델 압축 또는 효율성 향상의 필요성을 드러냈다.