[論文レビュー] A Bi-Directional Transformer for Musical Chord Recognition

Jonggwon Park, Kyoyun Choi+3 more|arXiv (Cornell University)|Jul 5, 2019

Music and Audio Processing参考文献 31被引用数 7

ひとこと要約

本論文は、分離された特徴抽出器やデコーダーを必要とせず、自己注意機構を用いて音声系列における長期依存関係を捉えるバイポジショナルトランスフォーマーモデル（BTC）を提案する。BTCは1つの学習段階で競争力ある性能を達成し、注意マップはモデルが関連するコードセグメントに適応的に注目し、長期的な文脈を効果的にモデル化できることを示している。

ABSTRACT

Chord recognition is an important task since chords are highly abstract and descriptive features of music. For effective chord recognition, it is essential to utilize relevant context in audio sequence. While various machine learning models such as convolutional neural networks (CNNs) and recurrent neural networks (RNNs) have been employed for the task, most of them have limitations in capturing long-term dependency or require training of an additional model. In this work, we utilize a self-attention mechanism for chord recognition to focus on certain regions of chords. Training of the proposed bi-directional Transformer for chord recognition (BTC) consists of a single phase while showing competitive performance. Through an attention map analysis, we have visualized how attention was performed. It turns out that the model was able to divide segments of chords by utilizing adaptive receptive field of the attention mechanism. Furthermore, it was observed that the model was able to effectively capture long-term dependencies, making use of essential information regardless of distance.

研究の動機と目的

• 自動コード認識のための音楽的コード系列における長期依存関係を捉える課題に対処すること。
• HMM や CRF のような分離された特徴抽出またはシーケンスデコーダモジュールを必要としない統合的かつエンドツーエンドのモデルを開発すること。
• 音声におけるコード遷移およびセグメント境界のモデル化において、自己注意メカニズムの有効性を示すこと。
• トランスフォーマーモデル内の注意メカニズムが、コード認識のための関連する時間的セグメントをどのように局所化し、注目するかを可視化・分析すること。

提案手法

• モデルは、時間軸にわたる文脈的関係を捉えるために自己注意機構を用いるバイポジショナルトランスフォーマー・アーキテクチャを採用する。
• 入力特徴量は、音声信号の時間周波数表現を提供する定常Q変換（CQT）から得られる。
• マルチヘッド自己注意を用いて、すべての時間フレームにわたる注意重みを計算し、動的に関連するセグメントに注目する適応的受容 field を実現する。
• 最終的なコード予測は、追加のデコーダヘッドや後処理を経ずに、トランスフォーマーの最終層から直接生成される。
• 推論時の注意マップを可視化し、モデルが異なる時間フレームにどのように注目するかを分析し、レイヤー固有の注意パターンを明らかにする。
• CQT特徴量と正解のコードラベルを用いて、複雑な事前学習や補助モデルを避ける1段階のエンドツーエンド学習でモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 自己注意に基づくトランスフォーマーモデルは、再帰的構造や畳み込みを用いずに、音楽的コード系列における長期依存関係を効果的に捉えることができるか？
• RQ2 トランスフォーマーにおけるバイポジショナル注意メカニズムは、音声における関連するコードセグメントおよび境界を特定するのにおいてどのように寄与するか？
• RQ3 提案されたBTCモデルは、従来のCNNやRNNモデルと比較して、コード認識の精度と学習の簡便さの両面でどの程度優れているか？
• RQ4 トランスフォーマーモデル内の注意メカニズムは、解釈可能であるとされ、セグメント分割や特徴の注目といった意味のあるパターンを明らかにできるか？

主な発見

• BTCモデルは、CNN+CRF や CRNN+CRF といった最先端のモデルと比較しても競争力ある性能を示しており、1つの学習段階で十分な性能を達成している。
• 注意マップの分析から、モデルはレイヤーを経るごとに受容 field を段階的に広げており、初期段階では局所的文脈に注目し、後続段階では意味的に関連するセグメントに焦点を当てる傾向が見られた。
• 自己注意の適応的受容 field を活用することで、モデルはコード系列を明確なセグメントに分割することができた。中間レイヤーにおける矩形領域の高い注意度がその証左となった。
• 最終レイヤーの注意マップは、正しくコード境界とよく一致しており、時間的距離に関係なく、重要な情報を的確に注目していることが示された。
• コードの曖昧さ（例：G と B:min が共通音を持つ）に直面しても、マルチヘッド注意により誤った関連付けが抑制され、注意のアンサンブルにより正しく予測される。
• 効果的であるものの、重複する音が多く含まれるコードペア（例：A と F#:min）に対しては、時として失敗する傾向があり、高類似度のコードペアの処理には限界があることが示された。