[論文レビュー] Improved Chord Recognition by Combining Duration and Harmonic Language Models

Filip Korzeniowski, Gerhard Widmer|arXiv (Cornell University)|Aug 16, 2018

Music and Audio Processing参考文献 27被引用数 7

ひとこと要約

本稿では、時間的モデリングを分離された和声的言語モデルとコード長持続モデルに分解することで、フレームレベルではなくコード系列レベルでのRNNベースのモデリングを活用することにより、コード認識性能を向上させる、革新的なコード認識フレームワークを提案する。この手法は、標準のHMMに類似したモデルを著しく上回る最先端の性能を達成しており、GRUベースの言語および長持続モデルを用いたメジャー/マイナーコードにおける重み付きコード記号リcall率（WCSR）は0.8047に達する。

ABSTRACT

Chord recognition systems typically comprise an acoustic model that predicts chords for each audio frame, and a temporal model that casts these predictions into labelled chord segments. However, temporal models have been shown to only smooth predictions, without being able to incorporate musical information about chord progressions. Recent research discovered that it might be the low hierarchical level such models have been applied to (directly on audio frames) which prevents learning musical relationships, even for expressive models such as recurrent neural networks (RNNs). However, if applied on the level of chord sequences, RNNs indeed can become powerful chord predictors. In this paper, we disentangle temporal models into a harmonic language model---to be applied on chord sequences---and a chord duration model that connects the chord-level predictions of the language model to the frame-level predictions of the acoustic model. In our experiments, we explore the impact of each model on the chord recognition score, and show that using harmonic language and duration models improves the results.

研究の動機と目的

• コード系列における長期的な和声的関係を捉えることができない既存の時間的モデルの限界を解消すること。
• 時間的モデリングの適用レベルをフレームレベルからコード系列レベルに見直すことで、コード認識性能を向上させること。
• コード進行における音楽的構造をよりよく捉えることができるRNNベースの言語モデルおよび長持続モデルの開発と評価。
• 言語モデルと長持続モデルを分離することにより、コード認識性能に測定可能な向上が得られることを示すこと。
• コード系列の高レベルなモデリングにより、RNNが意味のある和声進行を学習できることを検証すること。フレームレベルのモデルとは異なり、このような長期依存関係を捉えることができない。

提案手法

• フレームワークは、時間的モデルを、圧縮されたコード系列（連続する同一コードの重複を除去）上でコード遷移を予測する和声的言語モデル $P_L$ と、各フレームでコードが変化するか継続するかを予測する長持続モデル $P_D$ に分離する。
• 言語モデル $P_L$ は、RNN（GRU）として実装され、コード系列上で学習されることで、長期的な和声進行を学習可能となる。
• 長持続モデル $P_D$ は、二値分類（変化または継続）としてモデル化され、RNNまたは統計的分布（例：負の二項分布）を用いる。RNNは静的モデルを上回る性能を示した。
• 音響モデル $P_A$ はフレームレベルのコード予測を提供し、その後、長持続モデルを介してコードレベルの予測と整合化される。
• 全システムは、$P_A$、$P_L$、$P_D$ を要因分解することで組み合わせる確率的生成モデルであり、$P(y_{1:T}|x_{1:T}) \propto \prod_t \frac{1}{P(y_t)} P_A(y_t|x_t) P_T(y_t|y_{1:t-1})$ で表される。ここで $P_T$ は $P_L$ と $P_D$ に分解される。
• 推論には、ビーム幅 $N_b=25$ および1つのハッシュあたり $N_s=4$ 個の類似解を保持するハッシュドビームサーチが用いられ、アブレーション実験では正確なデコードがn-gramモデルに適用された。

実験結果

リサーチクエスチョン

• RQ1 フレームレベルではなくコード系列レベルでコード進行をモデリングすることは、コード認識性能を顕著に向上させることができるか？
• RQ2 RNNベースの言語モデルおよび長持続モデルは、従来の1次モデル（例：HMM、CRF）と比較して、和声的関係をどれほどよく捉えられるか？
• RQ3 分離された長持続モデルの統合は、標準的な時間的モデルにおける内蔵的長持続モデリングと比較して、どれほど認識精度の向上に寄与するか？
• RQ4 言語モデルおよび長持続モデルの両方でディープラーニングを用いることで、コード認識指標に一貫性があり測定可能な向上が得られるか？
• RQ5 異なるモデルアーキテクチャ（GRU対n-gram対負の二項分布）は、最終的な認識スコアにどのように影響を与えるか？

主な発見

• GRU-512言語モデルとGRU-256長持続モデルの組み合わせが、メジャー/マイナーコードアルファベットにおいて最高のWCSR 0.8047を達成し、標準の2-gram/負の二項分布ベースライン（0.7955）を著しく上回った。
• 有意差は統計的に確認され、ペアt検定のp値は2.49 × 10⁻²³未満であり、実験全体にわたり一貫した向上が得られていることを裏付けた。
• WCSRは、言語モデルおよび長持続モデルの両方のログ確率スコアが上昇するに従い線形的に上昇した。これは、これらのコンponentsのさらなる改善が認識性能の向上に寄与し得ることを示唆している。
• 近似ビームサーチ（ビーム幅25）は正確なデコードとほとんど同等の性能を示し、わずかな性能低下にとどまった。これは、大規模な推論に向けた効率性を裏付けた。
• 負の二項分布長持続モデルはGRUベースの長持続モデルと同等の性能を示したが、GRUベースのモデルはより優れた一般化性能と言語モデルとの統合性を示した。
• 結果から、コード系列レベルに適用されたRNNは、和声進行を効果的にモデリングできることを示しており、一方でフレームレベルのモデリングではこのような長期依存関係を捉えることができないことが明らかになった。