[論文レビュー] Efficient Supervised Training of Audio Transformers for Music Representation Learning

Pablo Alonso-Jiménez, Xavier Serra+1 more|arXiv (Cornell University)|Sep 28, 2023

Music and Audio ProcessingComputer Science被引用数 3

ひとこと要約

この論文では、330万曲のDiscogsトラックを用いた教師あり微調整により、パッチアウト正則化を用いて訓練された、畳み込みを含まない効率的な音声トランスフォーマーであるMAESTを提案する。ImageNet や AudioSet からの重み初期化、より長い入力セグメントの使用、中間トランスフォーマーブロックからの特徴抽出により、MAESTは音楽タグ付けタスクで最先端の性能を達成するとともに、推論時におけるパッチアウトにより高速な推論を実現し、畳み込みベースのベースラインを速度と精度の両面で上回る。

ABSTRACT

In this work, we address music representation learning using convolution-free transformers. We build on top of existing spectrogram-based audio transformers such as AST and train our models on a supervised task using patchout training similar to PaSST. In contrast to previous works, we study how specific design decisions affect downstream music tagging tasks instead of focusing on the training task. We assess the impact of initializing the models with different pre-trained weights, using various input audio segment lengths, using learned representations from different blocks and tokens of the transformer for downstream tasks, and applying patchout at inference to speed up feature extraction. We find that 1) initializing the model from ImageNet or AudioSet weights and using longer input segments are beneficial both for the training and downstream tasks, 2) the best representations for the considered downstream tasks are located in the middle blocks of the transformer, and 3) using patchout at inference allows faster processing than our convolutional baselines while maintaining superior performance. The resulting models, MAEST, are publicly available and obtain the best performance among open models in music tagging tasks.

研究の動機と目的

• 畳み込みネットワークの代わりに、純粋なアテンションを用いたトランスフォーマーによる音楽表現学習の改善。
• アーキテクチャ的およびトレーニング設計の選択が、下流の音楽タグ付け性能に与える影響の調査。
• 推論時にパッチアウトを適用することで、精度を損なわず高速な推論を実現すること。
• 音楽タグ付け分野で最先端の結果を達成する、公開可能でオープンソースのモデルの開発。

提案手法

• スペクトログ램パッチを用いた音声トランスフォーマーのトレーニング。バイナリクロスエントロピー損失を用いた教師あり音楽タグ付け。
• 一般化性能の向上と計算コストの低減を目的として、トレーニング中にパッチアウト正則化を適用。
• 特徴品質の向上を目的として、事前学習済みのImageNet や AudioSet からの重みを初期化に使用。
• 表現品質の評価を目的として、異なるトランスフォーマーブロック（初期、中間、最終）からの埋め込みを抽出。
• 推論時にパッチアウトを適用することで、特徴抽出の高速化を実現しながら性能を維持。
• ROC-AUC および mAP メトリクスを用いて、複数の音楽タグ付けベンチマークでモデルを評価。

実験結果

リサーチクエスチョン

• RQ1 ImageNet や AudioSet などの異なる事前学習初期化戦略が、下流の音楽タグ付け性能に与える影響は何か？
• RQ2 音声トランスフォーマーを用いた音楽表現学習における、最適な入力セグメント長は何か？（トレーニング時および推論時）
• RQ3 どのトランスフォーマーブロックとトークンタイプが、音楽タグ付けタスクにおいて最良の表現を生み出すか？
• RQ4 推論時にパッチアウトを適用することで、特徴抽出の高速化が顕著に達成可能であり、性能が維持または向上するか？
• RQ5 提案手法の性能は、既存のSOTAモデルと比較して、オープン設定およびクローズド設定の両方で優れているか？

主な発見

• 事前学習済みのAudioSet や ImageNet からの重みを初期化することで、下流の音楽タグ付けタスクで優れた性能が得られる。
• トレーニングおよび推論時に長時間の入力セグメント（最大30秒）を使用することで、トレーニングおよび下流タスクの両方の性能が向上する。
• 音楽タグ付けタスクにおける最良の表現は、最終層や最初の層ではなく、トランスフォーマーの中間ブロックから抽出される。
• 推論時にパッチアウトを適用することで、MAESTはEfficientNet-B0ベースラインと比較して2〜3倍の高速推論を達成し、mAPスコアはより高い水準を維持する。
• MAESTは、MTGJ-Genre、MTGJ-Inst、MSDc データセットにおいて、公開可能なモデルの中で最先端の性能を達成する。
• 評価されたすべての下流タスクにおいて、MAESTはEfficientNet-B0ベースラインを速度と精度の両面で上回る。