[논문 리뷰] Passage Summarization with Recurrent Models for Audio-Sheet Music Retrieval

Luís Miguel Carvalho, Gerhard Widmer|arXiv (Cornell University)|2023. 09. 21.

Music and Audio ProcessingComputer Science인용 수 3

한 줄 요약

이 논문은 긴, 길이가 변하는 오디오 및 악보 조각에 대한 공동 임베딩을 학습하는 순환 교차모달 신경망을 제안한다. 이는 정밀하게 정렬된 학습 데이터가 필요로 하지 않으며, 오디오-악보 검색을 강건하게 가능하게 한다. 순환성을 통해 시간적 의존성을 모델링함으로써, 고정 크기의 스니펫 방법보다 전반적인 템포 변화에 더 잘 대응하며, 다양한 템포 조건과 약한 지도 학습 환경에서도 뛰어난 검색 정확도를 달성한다.

ABSTRACT

Many applications of cross-modal music retrieval are related to connecting sheet music images to audio recordings. A typical and recent approach to this is to learn, via deep neural networks, a joint embedding space that correlates short fixed-size snippets of audio and sheet music by means of an appropriate similarity structure. However, two challenges that arise out of this strategy are the requirement of strongly aligned data to train the networks, and the inherent discrepancies of musical content between audio and sheet music snippets caused by local and global tempo differences. In this paper, we address these two shortcomings by designing a cross-modal recurrent network that learns joint embeddings that can summarize longer passages of corresponding audio and sheet music. The benefits of our method are that it only requires weakly aligned audio-sheet music pairs, as well as that the recurrent network handles the non-linearities caused by tempo variations between audio and sheet music. We conduct a number of experiments on synthetic and real piano data and scores, showing that our proposed recurrent method leads to more accurate retrieval in all possible configurations.

연구 동기 및 목표

• 고정 크기의 오디오 및 악보 스니펫 모델이 교차 모달 음악 검색에서 겪는 한계를 해결하기 위해.
• 노트 수준의 정렬이 아닌 시스템 수준의 파assing 경계만으로도 학습이 가능하도록 하여 강한 정렬이 필요한 수작업으로 주석 처리된 데이터에 대한 의존도를 줄이기 위해.
• 시퀀스 모델링을 통해 오디오와 악보 간의 전반적 및 국소적 템포 변화에 대한 강건성을 향상시키기 위해.
• 짧고 고정된 길이의 조각 대신 더 긴, 맥락이 풍부한 음악 조각을 사용하여 정확한 검색을 가능하게 하기 위해.
• 합성 및 실제 피아노 데이터를 바탕으로 메타데이터 기반의 MSMD 데이터셋에서 방법의 일반화 능력을 검증하기 위해.

제안 방법

• 이중 경로 순환 신경망이 오디오 및 악보 조각을 공유 임베딩 공간으로 인코딩하도록 훈련된다.
• 모델은 일치하는 오디오-악보 쌍 간의 코사인 거리를 최소화하고, 일치하지 않는 쌍 간의 거리를 최대화하기 위해 대비 손실 함수를 사용한다.
• 순환 유닛(LSTM 또는 GRU)이 길이가 변하는 시퀀스를 처리하여 시간적 의존성을 포착하고 템포 변화를 다룬다.
• 훈련 데이터는 노트 수준의 정렬이 아닌 시스템 수준의 파assing 경계(예: 스트립 라인)에서 구성되며, 주석 처리 부담을 감소시킨다.
• 이 아키텍처는 고정 크기 제약이 없는 가변 길이의 입력 조각을 허용하여 이전 방법의 제약을 피한다.
• 모델은 MSMD 데이터셋에서 오디오-악보(A2S) 및 악보-오디오(S2A) 검색 방향 모두에서 평가된다.

Figure 1 : Distribution of system durations in around 40,000 examples from the MSMD. More than 25% of the passages are longer than ten seconds.

실험 결과

연구 질문

• RQ1 순환 모델은 더 긴, 길이가 변하는 오디오 및 악보 조각으로부터 강건한 교차 모달 임베딩을 학습할 수 있는가?
• RQ2 전반적인 템포 변화 조건에서 제안된 방법이 고정 크기 스니펫 모델보다 더 잘 일반화되는가?
• RQ3 약한 정렬 데이터(예: 시스템 수준의 경계)를 얼마나 효과적으로 사용하여 오디오-악보 검색 모델을 훈련시킬 수 있는가?
• RQ4 기본 모델 대비 다양한 템포 비율에서 모델의 성능은 어떻게 나타나는가?
• RQ5 템포 불일치가 존재하는 상황에서 순환성의 사용이 임베딩 품질과 검색 정확도를 향상시키는가?

주요 결과

• 제안된 순환 모델은 A2S 및 S2A 검색 방향에서 모든 템포 비율에서 기준 모델보다 높은 평균 역수 순위(MRR)를 달성한다.
• S2A 방향에서 원래 템포(ρ=1)일 때 RNN 모델의 MRR는 0.67이며, 기준 모델의 0.63보다 0.04 향상되었다.
• A2S 방향에서 ρ=1일 때 RNN 모델의 MRR는 0.63이며, 기준 모델의 0.59보다 0.04 향상되었다.
• A2S에서 ρ=1과 ρ=0.5(느린 템포) 간의 성능 격차는 기준 모델의 0.12에서 RNN의 0.10으로 감소했고, S2A에서는 0.09에서 0.07로 감소하여 템포 변화에 대한 더 뛰어난 강건성을 보였다.
• 극단적인 템포(ρ=2)에서도 모델은 강력한 성능을 유지했으며, A2S의 MRR는 0.43, S2A는 0.50이었고, 모든 경우에서 기준 모델을 능가했다.
• 코사인 거리 분석 결과, 짧은 오디오 조각의 임베딩은 일반적으로 해당 악보 임베딩보다 더 가까웠으며, 이는 장기간에 걸친 일반화 격차가 여전히 존재함을 시사한다.

Figure 2 : Diagram of the proposed network. Two independent pathways are trained to encode sheet music (a) and audio (b) passages by minimizing a contrastive loss function (c).