[논문 리뷰] A Streamlined Encoder/Decoder Architecture for Melody Extraction

Tsung‐Han Hsieh, Li Su외 1명|arXiv (Cornell University)|2018. 10. 30.

Music and Audio Processing참고 문헌 24인용 수 5

한 줄 요약

이 논문은 베스트 네트워크의 복잡한 임계치 설정을 제거하기 위해 복셀 레이어에 비메로디 프로덕션 감지기를 통합한 간소화된 7층 인코더/디코더 네트워크를 제안한다. 풀링 인덱스를 활용한 주파수 국소화와 손실 지도에 argmax를 적용함으로써, 보다 단순한 아키텍처와 추가적인 수작업 임계치 설정 없이도 보컬 및 일반 멜로디 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Melody extraction in polyphonic musical audio is important for music signal processing. In this paper, we propose a novel streamlined encoder/decoder network that is designed for the task. We make two technical contributions. First, drawing inspiration from a state-of-the-art model for semantic pixel-wise segmentation, we pass through the pooling indices between pooling and un-pooling layers to localize the melody in frequency. We can achieve result close to the state-of-the-art with much fewer convolutional layers and simpler convolution modules. Second, we propose a way to use the bottleneck layer of the network to estimate the existence of a melody line for each time frame, and make it possible to use a simple argmax function instead of ad-hoc thresholding to get the final estimation of the melody line. Our experiments on both vocal melody extraction and general melody extraction validate the effectiveness of the proposed model.

연구 동기 및 목표

• 기존 최신 기술 수준의 모델보다 모델 복잡도를 줄인 간단하고 해석 가능한 신경망 아키텍처를 개발하는 것.
• 버퍼 레이어를 통해 프레임별 멜로디 존재 여부를 직접 추정함으로써 후처리 단계에서의 수작업 임계치 설정이 필요 없도록 하는 것.
• 인코더와 디코더 레이어 간의 풀링 인덱스 전달을 통해 주파수 국소화 정확도를 향상시키고, 의미 분할 기법을 영감으로 삼는 것.
• 최소한의 아키텍처 복잡도로 보컬 및 일반 멜로디 추출 벤치마크에서 경쟁 가능한 성능을 달성하는 것.
• 추가적인 이진화 단계 없이 엔드 투 엔드 학습 및 추론을 가능하게 하여 모델 신뢰도와 해석 가능성 향상

제안 방법

• 모델은 인코더에 세 개의 컨볼루션 및 맥스 풀링 레이어, 디코더에 세 개의 업컨볼루션 및 언풀링 레이어를 포함한 7층 인코더/디코더 아키텍처를 사용한다.
• 인코더의 맥스 풀링 레이어에서 생성된 풀링 인덱스를 디코더의 해당 언풀링 레이어에 전달하여 공간적 및 주파수 해상도 유지로 국소화 정확도 향상.
• 버퍼 레이어에서 분리된 브랜치가 비멜로디 프레임 존재 여부를 예측함으로써, 임계치 설정 없이도 단순한 argmax 연산을 통해 출력을 이진화할 수 있다.
• 손실 지도 출력은 디코더 출력과 비멜로디 예측을 연결하여 생성되며, 이는 멜로디 라인의 직접 추정을 가능하게 한다.
• 일반 멜로디 작업에서는 320개(보컬) 또는 400개(일반)의 박스를 가진 CQT 기반 시간-주파수 표현을 사용하고, 최종 풀링 레이어에 5x1 커널을 적용한다.
• 학습은 지도 학습을 통해 진짜 이진 F0 매트릭스에 대한 교차 엔트로피 손실을 사용하며, 단일 GTX 1080ti에서 20분 이내에 수렴한다.

실험 결과

연구 질문

• RQ1 복잡한 잔류 블록이나 피라미드 풀링 없이도 크게 단순화된 인코더/디코더 아키텍처가 멜로디 추출에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 인코더와 디코더 레이어 간의 풀링 인덱스 사용이 멜로디 추출에서 주파수 국소화 정확도를 향상시킬 수 있는가?
• RQ3 버퍼 레이어에 내장된 비멜로디 감지기가 후처리 단계에서의 수작업 임계치 설정이 필요 없도록 할 수 있는가?
• RQ4 MedleyDB 및 ADC2004와 같은 다양한 데이터셋에서 기존 방법과 비교해 성능 및 내성에 대해 어떻게 성능을 발휘하는가?
• RQ5 argmax 기반 이진화 통합이 임계치 기반 방법에 비해 더 낮은 거짓 경고 비율과 더 나은 일반화 성능을 제공하는가?

주요 결과

• 제안된 모델은 MedleyDB 보컬 멜로디 데이터셋에서 83.7%의 최고 전체 정확도(OA)를 달성하여 DSM 및 Lu & Su의 모델을 모두 능가한다.
• MedleyDB 일반 멜로디 데이터셋에서는 64.3%의 OA를 기록하여 DSM(61.7%)를 능가하고 CRNN(64.3%)와 동률을 이뤘으며, 훨씬 더 단순한 아키텍처를 사용했다.
• MedleyDB 보컬 멜로디에서 발성 오류 경고(VFA)를 13.3%로 줄여, DSM의 48.7% 및 Lu & Su의 22.4%보다 훨씬 낮게 유지하여 더 나은 노이즈 억제 성능을 입증했다.
• 비멜로디 감지기를 제거한 아블레이션된 모델은 MedleyDB에서 OA가 68.4%에 불과하여 내장된 감지기가 성능에 결정적인 역할을 한다는 것을 확인했다.
• 모델은 모든 네 개의 데이터셋에서 다섯 가지 지표 모두에서 아블레이션된 변형보다 뛰어난 성능을 보이며, 비멜로디 감지 구성 요소의 효과를 입증했다.
• CFP를 CQT로 대체하면 보컬 멜로디 작업에서 OA가 약 10% 감소하므로, 성능 향상에 CFP 기반 표현이 매우 중요하다는 점을 시사한다.