[論文レビュー] SpecTNT: a Time-Frequency Transformer for Music Audio

Wei Lu, Ju-Chiang Wang+3 more|arXiv (Cornell University)|Oct 18, 2021

Music and Audio Processing参考文献 39被引用数 14

ひとこと要約

SpecTNTは、周波数成分と時間軸に沿ってスペクトログラムを階層的に処理する新しい時間周波数変換器アーキテクチャであり、周波数クラストークン（FCT）を用いてスペクトル表現と時間的表現を統合する。音楽タグ付けとボーカルメロディ抽出において最先端の性能を達成し、コード認識においても競争力ある結果を示し、キーベンチマークでCNN、CRNN、標準的な変換器を上回る性能を発揮する。

ABSTRACT

Transformers have drawn attention in the MIR field for their remarkable performance shown in natural language processing and computer vision. However, prior works in the audio processing domain mostly use Transformer as a temporal feature aggregator that acts similar to RNNs. In this paper, we propose SpecTNT, a Transformer-based architecture to model both spectral and temporal sequences of an input time-frequency representation. Specifically, we introduce a novel variant of the Transformer-in-Transformer (TNT) architecture. In each SpecTNT block, a spectral Transformer extracts frequency-related features into the frequency class token (FCT) for each frame. Later, the FCTs are linearly projected and added to the temporal embeddings (TEs), which aggregate useful information from the FCTs. Then, a temporal Transformer processes the TEs to exchange information across the time axis. By stacking the SpecTNT blocks, we build the SpecTNT model to learn the representation for music signals. In experiments, SpecTNT demonstrates state-of-the-art performance in music tagging and vocal melody extraction, and shows competitive performance for chord recognition. The effectiveness of SpecTNT and other design choices are further examined through ablation studies.

研究の動機と目的

• 既存の変換器モデルが音声処理において、通常は時間軸に沿った一方向のシーケンスとしてスペクトログラムを扱うという限界を是正すること。
• 局所的なスペクトルパターンと長距離の時間的依存関係の両方を効果的にモデル化できる柔軟で階層的なアーキテクチャの開発。
• 統一された変換器フレームワーク内で周波数と時間的モデリングを明示的に統合することで、音楽情報検索（MIR）タスクの表現学習を向上させること。
• スペクトログラムデータに特化した変更を加えた変換器-変換器（TNT）設計の有効性を実証すること。これは、素朴なTNTの適応によって生じる不安定性と性能の問題を克服する。

提案手法

• 音楽音声表現学習を目的とした、変換器-変換器（TNT）アーキテクチャの新規な変種、すなわちSpecTNTを導入する。
• 各SpecTNTブロックでは、スペクトル変換器が各時間フレーム内の周波数ビンを処理し、周波数関連特徴を周波数クラストークン（FCT）に抽出する。
• FCTは線形変換され、時間埋め込み（TE）に加算され、時間軸に沿った情報交換が可能になる。
• その後、時間変換器がTEを処理し、時間軸に沿った長距離依存関係をモデル化する。この際、集約されたスペクトル特徴を活用する。
• 階層的設計により、FCTをスペクトルコンテンツのコンパクトな表現として用いることで、標準的なTNTと比較して次元削減が達成される。
• CQTやHCQTのような特別な入力表現を必要とせず、スペクトログラム入力をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 階層的な変換器アーキテクチャは、音楽スペクトログラムのスペクトル的および時間的パターンを効果的にモデル化できるか？
• RQ2 周波数クラストークン（FCT）を用いることで、直接的なパッチレベル処理と比較して、スペクトル的および時間的モデリング間の情報フローが向上するか？
• RQ3 音楽タグ付け、ボーカルメロディ抽出、コード認識の各タスクにおいて、SpecTNTは標準的な変換器、CNN、CRNNと比較してどの程度の性能を示すか？
• RQ4 FCTや二本のアテンションブランチ機構といったアーキテクチャ的要素が、特に限られた学習データ下でモデルの安定性と性能に与える影響は何か？
• RQ5 Task固有の入力表現を必要とせずに、SpecTNTは多様なMIRタスクに一般化可能か？

主な発見

• 音楽タグ付けにおいて、SpecTNTはMIR-AC10データセットで全体の正確度85.3％を達成し、先行するCNNおよびCRNNベースラインを上回る。
• ボーカルメロディ抽出において、MedleyDBデータセットで88.3％のリCALLを達成し、以前の最先端モデルであるFTANetを2.9ポイント上回った。
• コード認識において、カラムグラム入力を用いてBillboardデータセットで80.47％のWCSRを達成し、CR2およびBTCベースラインを上回った。
• アブレーションスタディの結果、FCT機構が性能向上に顕著に寄与しており、特に小規模データセットでは顕著な効果を示した。A3（最大モデル）では、FCTを除去した際の性能低下が最大であった。
• モデルは頑健性と一般化能力を示し、最小限のアーキテクチャ的変更で複数のMIRタスクで強力な性能を維持した。