[논문 리뷰] Improved Chord Recognition by Combining Duration and Harmonic Language Models

Filip Korzeniowski, Gerhard Widmer|arXiv (Cornell University)|2018. 08. 16.

Music and Audio Processing참고 문헌 27인용 수 7

한 줄 요약

이 논문은 시간적 모델링을 조화어 언어 모델과 코드어 지속 시간 모델로 분리하여, 프레임 수준이 아닌 코드어 시퀀스 수준에서 RNN 기반 모델을 활용함으로써 조화 인식 성능을 향상시키는 새로운 코드어 인식 프레임워크를 제안한다. 이 방법은 기존의 표준 HMM 유사 모델보다 뚜렷하게 뛰어난 성능을 보이며, GRU 기반 언어 모델과 지속 시간 모델을 사용하여 주/_minor 코드어에서 0.8047의 가중 코드어 기호 복귀율(WCSR)을 달성하여 최신 기술 수준을 확립한다.

ABSTRACT

Chord recognition systems typically comprise an acoustic model that predicts chords for each audio frame, and a temporal model that casts these predictions into labelled chord segments. However, temporal models have been shown to only smooth predictions, without being able to incorporate musical information about chord progressions. Recent research discovered that it might be the low hierarchical level such models have been applied to (directly on audio frames) which prevents learning musical relationships, even for expressive models such as recurrent neural networks (RNNs). However, if applied on the level of chord sequences, RNNs indeed can become powerful chord predictors. In this paper, we disentangle temporal models into a harmonic language model---to be applied on chord sequences---and a chord duration model that connects the chord-level predictions of the language model to the frame-level predictions of the acoustic model. In our experiments, we explore the impact of each model on the chord recognition score, and show that using harmonic language and duration models improves the results.

연구 동기 및 목표

• 기존의 시간적 모델이 코드어 시퀀스 내 장기적인 조화 관계를 포착하는 데에 한계가 있음을 해결하기 위해.
• 시간적 모델링의 계층적 수준을 재고함으로써, 프레임 수준에서 코드어 시퀀스 수준으로 이동시켜 코드어 인식 성능을 향상시키기 위해.
• 코드어 진행의 음악적 구조를 더 잘 포착할 수 있도록 RNN 기반의 언어 모델과 지속 시간 모델을 개발하고 평가하기 위해.
• 언어 모델과 지속 시간 모델을 분리함으로써 코드어 인식 성능 향상이 측정 가능한 방식으로 이루어지는지 입증하기 위해.
• 코드어 시퀀스의 고차원적 모델링이 RNN이 의미 있는 조화 진행을 학습할 수 있도록 하며, 프레임 수준의 모델링과는 대조적으로 이를 입증하기 위해.

제안 방법

• 프레임워크는 시간적 모델을 조화어 언어 모델 $P_L$과 지속 시간 모델 $P_D$로 분리한다. $P_L$은 연속된 중복을 제거한 압축된 코드어 시퀀스에서의 코드어 전이를 예측하며, $P_D$는 각 프레임에서 코드어가 변경되는지 유지되는지를 예측한다.
• 언어 모델 $P_L$은 RNN(GRU)로 구현되며, 코드어 시퀀스에서 장기적인 조화 진행을 학습할 수 있도록 훈련된다.
• 지속 시간 모델 $P_D$는 이진 분류(변경 또는 유지)로 모델링되며, RNN 또는 통계 분포(예: 음수 이항분포)를 사용한다. RNN이 정적 모델보다 성능이 뛰어나다.
• 음향 모델 $P_A$는 프레임 수준의 코드어 예측을 제공하며, 이는 지속 시간 모델을 통해 코드어 수준의 예측과 정렬된다.
• 전체 시스템은 $P_A$, $P_L$, $P_D$를 인수 분해를 통해 결합한 확률적 생성 모델로 구성되며, $P(y_{1:T}|x_{1:T}) \propto \prod_t \frac{1}{P(y_t)} P_A(y_t|x_t) P_T(y_t|y_{1:t-1})$로 표현되며, $P_T$는 $P_L$과 $P_D$로 분해된다.
• 추론은 해시된 빔 서치를 사용하며, 빔 폭 $N_b=25$ 및 해시당 $N_s=4$개의 유사한 해답을 사용한다. 분석을 위해 n-gram 모델에 대해 정확한 디코딩을 사용한다.

실험 결과

연구 질문

• RQ1 프레임 수준이 아닌 코드어 시퀀스 수준에서 코드어 진행을 모델링하는 것이 코드어 인식 성능을 뚜렷이 향상시킬 수 있는가?
• RQ2 RNN 기반의 언어 모델과 지속 시간 모델은 기존의 1차 모델(예: HMM, CRF)에 비해 조화 관계를 얼마나 잘 포착하는가?
• RQ3 별도의 지속 시간 모델을 통합하는 것이 표준 시간적 모델에서 암시적인 지속 시간 모델링에 비해 정확도 향상에 얼마나 기여하는가?
• RQ4 언어 모델과 지속 시간 모델에 모두 딥 러닝을 적용함으로써 코드어 인식 지표에서 일관되고 측정 가능한 향상이 이루어지는가?
• RQ5 다양한 모델 아키텍처(GRU 대비 n-gram 대비 음수 이항분포)가 최종 인식 점수에 어떤 영향을 미치는가?

주요 결과

• GRU-512 언어 모델과 GRU-256 지속 시간 모델을 조합한 결과, 주/ minor 코드어 알파벳에서 최고의 WCSR 0.8047을 기록하였으며, 표준 2-gram/음수 이항분포 기반 베이스라인(0.7955)을 크게 앞서나갔다.
• 유의미한 향상이었으며, 대응 t-검정 p-값이 2.49 × 10⁻²³ 이하로 떨어져 실험 전반에 걸쳐 일관된 성과 향상이 있음을 확인했다.
• 언어 모델과 지속 시간 모델 양쪽에서 로그-확률 점수가 높아질수록 WCSR이 선형적으로 증가했으며, 이는 이 두 구성 요소의 향상이 여전히 인식 성능 향상에 기여할 수 있음을 시사한다.
• 근사 빔 서치(빔 폭 25)는 정확한 디코딩과 거의 동일한 성능을 보였으며, 성능 저하가 최소였고, 이는 대규모 추론에 있어 효율성을 입증한다.
• 음수 이항분포 기반 지속 시간 모델은 GRU 기반 모델과 유사한 성능을 보였지만, GRU 기반 모델은 더 우수한 일반화 능력과 언어 모델과의 더 나은 통합 성능를 보였다.
• 결과적으로 RNN을 코드어 시퀀스 수준에서 적용할 경우 장기적인 조화 진행을 효과적으로 모델링할 수 있으며, 반면 프레임 수준의 모델링은 이러한 장기적 의존성을 포착하지 못한다.