[論文レビュー] On the Futility of Learning Complex Frame-Level Language Models for Chord Recognition

Filip Korzeniowski, Gerhard Widmer|arXiv (Cornell University)|Feb 1, 2017

Music and Audio Processing被引用数 12

ひとこと要約

この論文は、ノイズの多いフレーム単位の入力のため、高次の音楽的構造を捉えることができないとして、コード認識に複雑なフレームレベルの言語モデル（例：RNN）を学習することは根本的に無意味であると主張している。RNNはより高い表現能力を持つにもかかわらず、順序付きモデル（例：HMM）と比較して順序付きモデリングにおいて僅かな改善にとどまり、完全なコード認識パイプラインにおいても性能向上を示さない。これは、コードレベルでの階層的モデリングが音楽的知識を捉えるのにより効果的であることを示唆している。

ABSTRACT

Chord recognition systems use temporal models to post-process frame-wise chord preditions from acoustic models. Traditionally, first-order models such as Hidden Markov Models were used for this task, with recent works suggesting to apply Recurrent Neural Networks instead. Due to their ability to learn longer-term dependencies, these models are supposed to learn and to apply musical knowledge, instead of just smoothing the output of the acoustic model. In this paper, we argue that learning complex temporal models at the level of audio frames is futile on principle, and that non-Markovian models do not perform better than their first-order counterparts. We support our argument through three experiments on the McGill Billboard dataset. The first two show 1) that when learning complex temporal models at the frame level, improvements in chord sequence modelling are marginal; and 2) that these improvements do not translate when applied within a full chord recognition system. The third, still rather preliminary experiment gives first indications that the use of complex sequential models for chord prediction at higher temporal levels might be more promising.

研究の動機と目的

• RNNのような複雑な時系列モデルが、1次モデル（例：HMM）を上回ってコード認識を改善できるかどうかを調査すること。
• フレームレベルのRNNが音楽的構造を学習できるのか、それとも単にシンプルなモデルと同様に予測を滑らかにするだけなのかを評価すること。
• より高い時間的レベル（例：コードレベル）でモデリングすることで、RNNが長期間にわたる和声的依存関係を捉えることができるかを調査すること。
• フレームレベルのRNNが、コード認識における音楽的知識を学習するために不可欠であるという仮定に疑問を呈すること。
• 特にコード認識における言語モデリングにおいて、音楽処理の分野で階層的モデリングアプローチを提唱すること。

提案手法

• McGill Billboardデータセットから得たフレームレベルのコード系列に対して、RNNと1次マルコフ連鎖を訓練・比較する。
• 音響モデルとRNNまたはHMMを時系列モデルとして用いた完全なコード認識パイプラインを用いて、エンドツーエンドの性能を評価する。
• RNN言語モデルをフレームレベルではなくコードレベルに適用し、長期間にわたるシーケンスにおける音楽的構造の学習能力を評価する。
• フレームレベルデータにおけるRNNとマルコフ連鎖の順序付きモデリング性能を比較するため、対数尤度スコアを計算する。
• 計算制約のため近似推論を用いながら、音響モデルと時系列モデルを統合する共同デコードフレームワークを適用する。
• F1スコアや対数尤度といった標準的な指標を用いて、保留されたテストデータにおけるモデルの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 RNNは、1次マルコフモデルをフレームレベルのコード系列モデリングにおいて上回ることができるか？
• RQ2 完全なコード認識システムにおいて、RNNを時系列モデルとして用いることで、HMMを用いた場合と比較して認識精度が向上するか？
• RQ3 RNNがより高い時間的レベル（例：コードレベル）で適用された場合、1次遷移を超えた音楽的構造を学習できるか？
• RQ4 複雑なフレームレベルモデルは、より高いモデリング可能性を有しているにもかかわらず、なぜその能力を活かせないのか？
• RQ5 フレーム単位の入力表現は、コード認識における音楽的構造の学習を本質的に制限しているのか？

主な発見

• RNNは1次マルコフ連鎖に対して僅かな改善を示したが、平均対数尤度は-1.62対-2.28であった。
• より良い順序付きモデリングにもかかわらず、RNNは完全なパイプラインでは認識性能を向上させず、HMMを用いた時系列モデルがそれを上回った。
• RNNは曲内での繰り返しのあるコード進行に適応できることから、文脈に依存した予測の能力をある程度示している。
• フレームレベルRNNの失敗は、支配的となる自己遷移とタイミングの手がかりの欠如に起因し、フレームレベルではコード変化予測が本質的に曖昧である。
• コードレベルでのRNNは長期間にわたる和声的依存関係をうまく学習できており、音楽的構造を捉えるには階層的モデリングが不可欠であることを示している。
• 結果から、フレームレベルの時系列モデルは音楽的知識を学習する点で本質的に制限されており、今後の研究はより高いレベルでの言語モデリングに注目すべきであると示唆される。