[論文レビュー] Toward Interpretable Music Tagging with Self-Attention

Minz Won, Sanghyuk Chun+1 more|arXiv (Cornell University)|Jun 12, 2019

Music and Audio Processing参考文献 42被引用数 35

ひとこと要約

自己注意ベースのバックエンドを音楽タグ付けに提案。CNN フロントエンドと組み合わせ、 competitive な結果を達成し、解釈可能な注意力可視化を提供。

ABSTRACT

Self-attention is an attention mechanism that learns a representation by relating different positions in the sequence. The transformer, which is a sequence model solely based on self-attention, and its variants achieved state-of-the-art results in many natural language processing tasks. Since music composes its semantics based on the relations between components in sparse positions, adopting the self-attention mechanism to solve music information retrieval (MIR) problems can be beneficial. Hence, we propose a self-attention based deep sequence model for music tagging. The proposed architecture consists of shallow convolutional layers followed by stacked Transformer encoders. Compared to conventional approaches using fully convolutional or recurrent neural networks, our model is more interpretable while reporting competitive results. We validate the performance of our model with the MagnaTagATune and the Million Song Dataset. In addition, we demonstrate the interpretability of the proposed architecture with a heat map visualization.

研究の動機と目的

• 長時間の音楽的文脈を局所的なスペクトログラム時空特徴を超えてモデリングする動機づけ。
• 音楽タグ付けにおける解釈性を向上させるバックエンドとして自己注意を探索。
• スペクトログラムベースと生波形フロントエンドを注意ベースのバックエンドと比較。
• 注意ヒートマップとタグ別寄与マップを通じた視覚的解釈性を示す。

提案手法

• 二つのフロントエンドを使用：垂直/水平フィルタを持つスペクトログラムベースの Spec と、生波形ベースの Raw フロントエンド。
• バックエンドを使用：CNN P（Pons らのスペクトログラムバックエンド）、CNN L（サンプルレベルの CNN バックエンド）、および Att（マルチヘッド自己注意バックエンド）。
• 自己注意バックエンドの上にフロントエンドを統合し、各タイムビンの特徴を注意のトークンとして扱う。
• SWATS に着想を得た最適化を採用：最初は ADAM で 60 エポック、その後 momentum を用いた SGD に切り替え、検証 AUROC で最良の切り替えを選択。
• MagnaTagATune (MTAT) および Million Song Dataset (MSD) を AUROC と AUPR 指標で訓練・評価。

実験結果

リサーチクエスチョン

• RQ1 自己注意ベースのバックエンドは、マルチラベルタグ付けの長距離音楽構造を捉えられるか。
• RQ2 従来の RNN/CNN バックエンドを自己注意バックエンドに置換しても MTAT および MSD で競争力のある性能を維持できるか。
• RQ3 注意可視化は、どの音声領域がタグを支持するかについて解釈可能な洞察を提供するか。

主な発見

データセット	フロントエンド	バックエンド	AUROC	AUPR
MTAT	Raw	CNN L	90.62	44.20
MTAT	Raw	Att (Ours)	90.66	44.21
MTAT	Spec	CNN P	90.89	45.03
MTAT	Spec	Att (Ours)	90.80	44.39
MSD	Raw	CNN L	88.42	-
MSD	Raw	Att (Ours)	88.07	29.90
MSD	Spec	CNN P	88.75	31.24
MSD	Spec	Att (Ours)	88.14	30.47

• Att バックエンドと Spec フロントエンドは、MTAT および MSD においてベースラインと比較して競争力のある AUROC および AUPR を達成。
• 注意ベースのモデルは最良の性能のために慎重なチューニングを要し（2 層の注意、8 ヘッド）、最適化が重要。
• より長い入力系列（約 16.4 秒）は短い入力と同様の結果を示す一方、メモリ使用量が増加。
• 注意ヒートマップは音イベント領域にモデルが集中していることを示し、静かなタグでの非対象領域への強い応答を含む。
• タグ別寄与ヒートマップは、特定のタグに最も関連する入力領域の特定を助ける。