[논문 리뷰] On the Futility of Learning Complex Frame-Level Language Models for Chord Recognition

Filip Korzeniowski, Gerhard Widmer|arXiv (Cornell University)|2017. 02. 01.

Music and Audio Processing인용 수 12

한 줄 요약

이 논문은 복잡한 프레임 수준 언어 모델(예: RNN)을 활용한 카드 인식 학습이 본질적으로 무의미하다고 주장한다. 이는 노이즈가 많은 프레임 수준 입력으로 인해 고차원 음악적 구조를 포착하지 못하기 때문이다. 더 큰 용량을 지닌 RNN는 일阶 모델(예: HMM)과 비교해 성능 향상이 미미하며, 전체 카드 인식 파이프라인에서 성능 향상도 이끌지 못한다. 이는 카드 수준에서의 계층적 모델링이 음악 지식을 포착하는 데 더 효과적임을 시사한다.

ABSTRACT

Chord recognition systems use temporal models to post-process frame-wise chord preditions from acoustic models. Traditionally, first-order models such as Hidden Markov Models were used for this task, with recent works suggesting to apply Recurrent Neural Networks instead. Due to their ability to learn longer-term dependencies, these models are supposed to learn and to apply musical knowledge, instead of just smoothing the output of the acoustic model. In this paper, we argue that learning complex temporal models at the level of audio frames is futile on principle, and that non-Markovian models do not perform better than their first-order counterparts. We support our argument through three experiments on the McGill Billboard dataset. The first two show 1) that when learning complex temporal models at the frame level, improvements in chord sequence modelling are marginal; and 2) that these improvements do not translate when applied within a full chord recognition system. The third, still rather preliminary experiment gives first indications that the use of complex sequential models for chord prediction at higher temporal levels might be more promising.

연구 동기 및 목표

• 복잡한 시간적 모델(예: RNN)이 일阶 모델을 초월해 카드 인식을 의미 있게 향상시킬 수 있는지 조사하기.
• 프레임 수준 RNN가 단순한 모델처럼 예측을 매끄럽게 하는 데 그치지 않고 음악적 구조를 학습할 수 있는지 평가하기.
• 더 높은 시간 수준(예: 카드 수준)에서 모델링을 수행할 경우 RNN이 장기적인 화성적 의존성을 포착할 수 있는지 탐색하기.
• 프레임 수준 RNN가 카드 인식에서 음악 지식을 학습하는 데 필수적이라는 가정을 도전하기.
• 특히 카드 인식에서의 언어 모델링에 있어 계층적 모델링 접근 방식을 홍보하기.

제안 방법

• McGill Billboard 데이터셋에서 확보한 프레임 수준 카드 시퀀스를 대상으로 RNN와 일阶 마르코프 체인을 학습하고 비교하기.
• 음향 모델과 RNN 또는 HMM을 시간적 모델로 사용하는 전체 카드 인식 파이프라인을 구축하여 종단 간 성능 평가하기.
• RNN 언어 모델을 프레임 수준이 아닌 카드 수준에서 적용하여 장기적인 시퀀스에서 음악적 구조 학습 능력을 평가하기.
• RNN와 마르코프 체인 간의 프레임 수준 데이터에서의 시퀀스 모델링 성능을 비교하기 위해 로그우도 점수 계산하기.
• 계산 자원 제약으로 인해 근사 추론을 적용한 공동 디코딩 프레임워크를 사용하여 음향 모델과 시간적 모델 통합하기.
• 보존된 테스트 데이터에서 표준 지표인 F1 점수와 로그우도를 사용해 모델 평가하기.

실험 결과

연구 질문

• RQ1 RNN이 일阶 마르코프 모델보다 프레임 수준 카드 시퀀스 모델링에서 성능을 뛰어넘을 수 있는가?
• RQ2 전체 카드 인식 시스템에서 RNN을 시간적 모델로 사용할 경우 HMM 대비 인식 정확도 향상이 이루어지는가?
• RQ3 더 높은 시간 수준(예: 카드 수준)에서 적용할 경우 RNN이 일阶 전이를 초월해 음악적 구조를 학습할 수 있는가?
• RQ4 더 큰 모델링 잠재력이 있음에도 불구하고 복잡한 프레임 수준 모델이 성능 향상을 이끌지 못하는 이유는 무엇인가?
• RQ5 프레임 수준 입력 표현 방식이 카드 인식에서 음악적 구조 학습에 본질적으로 제한적인가?

주요 결과

• RNN은 일阶 마르코프 체인 대비 프레임 수준 시퀀스 모델링에서만 약간의 향상을 보였으며, 평균 로그우도는 -1.62 대비 -2.28이었다.
• 더 나은 시퀀스 모델링 성능에도 불구하고 RNN은 전체 파이프라인에서 성능 향상이 없었으며, HMM 기반 시간적 모델이 RNN을 능가했다.
• RNN은 곡 내 반복적인 카드 진행에 적응할 수 있는 능력을 보이며, 일부 맥락 기반 예측 능력을 지닌 것으로 나타났다.
• 프레임 수준 RNN의 실패 원인은 주로 자기 전이가 지배적이며, 시간 정보가 부족해 카드 전환 예측이 프레임 수준에서 본질적으로 모호하기 때문으로 분석되었다.
• 카드 수준에서의 RNN는 장기적인 화성적 의존성을 성공적으로 학습했으며, 이는 계층적 모델링이 음악적 구조를 포착하는 데 필수적임을 시사한다.
• 결과적으로, 프레임 수준 시간적 모델은 음악 지식 학습에서 본질적으로 제한되어 있으며, 향후 연구는 고차원 언어 모델링에 초점을 맞춰야 한다.