[논문 리뷰] Learning Complex Basis Functions for Invariant Representations of Audio

Stefan Lattner, Monika Dörfler외 1명|arXiv (Cornell University)|2019. 07. 13.

Music and Audio Processing참고 문헌 35인용 수 4

한 줄 요약

이 논문은 청각 스펙트로그램에서 복소 기저 함수를 학습하여 변환 불변 표현을 생성하는 딥러닝 아키텍처인 복소 자동에코더(CAE)를 제안한다. 정규직교 변환(예: 옮김, 시간 이동)에 대해 불변인 크기 공간과 변환 차이를 인코딩하는 위상 공간으로 음원을 투영함으로써, CAE는 음원-악보 정렬 및 반복 섹션 탐지에서 최신 기술 수준(SOTA) 성능을 달성한다. 기존의 크로마 및 GAE 기반 특징보다 뛰어난 성능을 보였다.

ABSTRACT

Learning features from data has shown to be more successful than using hand-crafted features for many machine learning tasks. In music information retrieval (MIR), features learned from windowed spectrograms are highly variant to transformations like transposition or time-shift. Such variances are undesirable when they are irrelevant for the respective MIR task. We propose an architecture called Complex Autoencoder (CAE) which learns features invariant to orthogonal transformations. Mapping signals onto complex basis functions learned by the CAE results in a transformation-invariant "magnitude space" and a transformation-variant "phase space". The phase space is useful to infer transformations between data pairs. When exploiting the invariance-property of the magnitude space, we achieve state-of-the-art results in audio-to-score alignment and repeated section discovery for audio. A PyTorch implementation of the CAE, including the repeated section discovery method, is available online.

연구 동기 및 목표

• 음원 정보 검색(MIR) 분야에서 옮김, 시간 이동과 같은 부적절한 변환에 민감한 수작업 특징의 한계를 해결하기 위해.
• 푸리에나 CQT와 같은 고정된 변환에 의존하지 않고 데이터에서 기저 함수를 학습하는 방법을 개발하기 위해.
• 정규직교 변환에 대해 불변인 크기 공간과 변환 유형 및 거리를 인코딩하는 위상 공간을 생성하기 위해.
• 변환 불변 표현을 통해 음원-악보 정렬 및 반복 섹션 탐지와 같은 MIR 작업의 성능 향상시키기 위해.
• MNIST를 벤치마크로 사용하여, 회전과 같은 다른 변환 불변성으로의 일반화를 입증하기 위해.

제안 방법

• CAE는 복소수 가중치와 활성화를 갖는 자동에코더 아키텍처를 통해 일정-Q 변환(CQT)된 음원 표현에서 복소 기저 함수를 학습한다.
• 정규직교 변환(예: 옮김, 시간 이동)에 의해 관련된 데이터 쌍을 사용하여, 복소수 도메인에서 재구성 손실을 최소화하면서 모델을 훈련시킨다.
• 인코딩된 표현의 크기는 변환 불변 공간을 형성하고, 위상은 변환에 특화된 정보를 인코딩한다.
• 변환 불변이 필요한 후속 작업에는 크기 공간을 사용하고, 위상 공간을 통해 신호 간 변환 유형과 거리 추론이 가능하다.
• 모델은 변환에 대한 명시적 레이블이 필요 없이 비지도 학습 방식으로 훈련된다.
• MNIST 데이터셋에서 기울인 숫자를 사용하여, 이와 같은 다른 변환 불변성(예: 회전)으로의 일반화가 가능함을 입증하였다.

실험 결과

연구 질문

• RQ1 음원 데이터에서 복소 기저 함수를 학습하는 것이 CQT나 크로마와 같은 고정된 변환보다 더 강건하고 변환 불변인 표현을 생성할 수 있는가?
• RQ2 CAE의 크기 공간이 기존 방법보다 음원-악보 정렬에서 옮김과 시간 이동에 대해 더 뛰어난 불변성을 달성하는가?
• RQ3 CAE의 위상 공간이 음원 조각 간 변환 유형과 거리를 효과적으로 인코딩하여 더 나은 구조 분석이 가능한가?
• RQ4 정렬 작업에서 템포 변화에 대한 강건성 측면에서 CAE는 GAE 기반 특징보다 어떻게 비교되는가?
• RQ5 CAE는 음원 외 영역(예: 이미지 분류)에서 회전과 같은 다른 변환 불변성으로 일반화될 수 있는가?

주요 결과

• CAE는 옮김 불변 반복 섹션 탐지에서 기존의 크로마 및 GAE 기반 특징을 능가하는 최신 기술 수준 성능을 달성했다.
• 음원-악보 정렬 작업에서 CAE 특징은 크로마 및 GAE 기반 특징보다 더 우수한 성능을 보였으며, 특히 템포 변화가 있는 조건에서 두각을 나타냈다.
• 기울인 MNIST 데이터셋에서, CAE의 크기 공간에 대한 로지스틱 회귀는 단지 256개의 학습 기저 함수만으로도 입력 공간보다 유의미하게 낮은 오차율을 기록했다.
• PCA 시각화에서 CAE의 크기 공간은 명확한 클래스 분리 클러스터를 형성하여 회전에 대한 강력한 불변성을 시사했다.
• CAE의 위상 차이 공간은 변환 유형(예: 기울임 각도)을 명확히 표현하여 신호 간 관계의 분류 가능 분석이 가능했다.
• CAE는 1000개의 기저 함수를 사용한 GAE보다도 뛰어난 성능을 보였고, 단지 256개의 기저 함수만으로도 불변성에 대한 명시적 훈련을 통해 더 효율적이고 효과적인 기저 함수 학습이 가능함을 시사했다.