[논문 리뷰] Learning Soft-Attention Models for Tempo-invariant Audio-Sheet Music Retrieval

Stefan Balke, Matthias Dorfer외 3명|arXiv (Cornell University)|2019. 06. 26.

Music and Audio Processing참고 문헌 27인용 수 4

한 줄 요약

이 논문은 엔드 투 엔드 오디오-스티리오 음악 악보 검색에서 오디오 스펙트로그램에 소프트 어텐션 메커니즘을 제안하여, 템포와 노트 밀도에 따라 동적으로 시간적 맥락을 조정할 수 있도록 한다. 어텐션 메커니즘은 다양한 템포에서의 검색 정확도를 향상시키며, 합성 피아노 데이터에서 최신 기술 수준의 성능을 달성한다. 이는 관련 오디오 영역에 집중하면서도 해석 가능성을 유지한다.

ABSTRACT

Connecting large libraries of digitized audio recordings to their corresponding sheet music images has long been a motivation for researchers to develop new cross-modal retrieval systems. In recent years, retrieval systems based on embedding space learning with deep neural networks got a step closer to fulfilling this vision. However, global and local tempo deviations in the music recordings still require careful tuning of the amount of temporal context given to the system. In this paper, we address this problem by introducing an additional soft-attention mechanism on the audio input. Quantitative and qualitative results on synthesized piano data indicate that this attention increases the robustness of the retrieval system by focusing on different parts of the input representation based on the tempo of the audio. Encouraged by these results, we argue for the potential of attention models as a very general tool for many MIR tasks.

연구 동기 및 목표

• 크로스모달 검색에서 고정된 시간적 맥락을 가진 오디오 임베딩의 문제를 해결하기 위해, 이는 템포 변화에 따라 성능 저하를 초래한다.
• 템포와 노트 밀도에 따라 모델이 관련 오디오 세그먼트에 적응적으로 집중할 수 있도록 하여 오디오-악보 매칭의 검색 정확도를 향상시키기 위해.
• 소프트 어텐션 메커니즘이 음악 정보 검색(MIR) 분야에서 템포에 영향을 받지 않는 검색을 위한 일반적인 솔루션으로 기능할 수 있음을 보여주기 위해.
• 합성 피아노 데이터를 대상으로 정성적 및 정량적 분석을 통해 어텐션 메커니즘이 직관적이고 해석 가능한 행동을 보이는지 검증하기 위해.

제안 방법

• 오디오 스펙트로그램과 악보 이미지에 대해 별도의 경로를 가지는 이중 브랜치 컨볼루션 신경망(CNN) 아키텍처를 사용하며, 모두 공유된 32차원 임베딩 공간으로 투영된다.
• 소프트 어텐션 메커니즘이 오디오 스펙트로그램 입력에 적용되어, 콘텐츠 관련성에 기반해 시간 프레임 간 가중치를 가변적으로 할당한다.
• 어느 쌍이 매칭되는지에 따라 임베딩 유사도를 최적화하기 위해, 대조 손실 함수를 사용하여 어텐션 메커니즘을 엔드 투 엔드로 훈련한다.
• 학습 가능한 어텐션 네트워크가 원시 오디오 스펙트로그램을 처리하고, 시간 프레임에 대해 소프트하고 미분 가능한 분포를 출력함으로써 어텐션 가중치가 계산된다.
• 오디오와 악보 임베딩을 공유 공간에서 정렬하기 위해 캔디널 상관계수 분석(CCA)을 사용하며, 의미적 대응을 강제한다.
• 시스템은 템포 변화를 통제한 합성 피아노 데이터셋에서 평가되며, 최근접 이웃 검색에 코사인 거리를 사용한다.

실험 결과

연구 질문

• RQ1 소프트 어텐션 메커니즘이 다양한 재생 템포에서 오디오-악보 매칭의 검색 성능을 향상시킬 수 있는가?
• RQ2 어디서나 어텐션 메커니즘이 오디오 스펙트로그램의 노트 밀도와 템포에 따라 집중 영역을 어떻게 조정하는가?
• RQ3 어텐션 메커니즘이 음악 콘텐츠와 상관관계가 있는 직관적이고 해석 가능한 어텐션 분포를 생성하는가?
• RQ4 크로스모달 검색에서 고정 크기의 오디오 입력 창에 대한 민감도를 어운션 메커니즘이 어느 정도 감소시키는가?

주요 결과

• 제안된 소프트 어텐션 메커니즘은 어텐션 없이 기반 모델보다 검색 성능을 크게 향상시키며, 특히 템포 변화가 있는 경우에 두드러진다.
• 어텐션 메커니즘이 집중 영역을 조정한다: 노트 밀도가 높을수록 집중도가 높아지고(엔트로피가 낮아지고), 노트 밀도가 낮을수록 분산되어(엔트로피가 높아짐) 나타나며, 이는 엔트로피 대 온셋 수 분석을 통해 확인되었다.
• 정성적 사례에서는 어텐션 네트워크가 극단적인 템포 변화가 있는 상황에서도 메로디컬한 파assage나 리듬 클러스터와 같은 관련 음악 영역을 정확히 식별함을 보여준다.
• 모델은 78에서 250 bpm까지 광범위한 템포 범위에서 높은 검색 정확도를 유지하며, 강력한 템포 불변성을 입증한다.
• 긴 지속 코드를 포함한 곡에서는 어텐션 메커니즘이 전체 오디오 창에 걸쳐 어텐션을 분포시키므로, 전체 콘텐츠 매칭을 보장한다.
• 결과적으로 어텐션 메커니즘이 오디오-악보 검색을 넘어서 크로스모달 MIR 작업의 정확도 향상에 일반적인 도구로 활용될 수 있음을 시사한다.