[論文レビュー] Masked Autoencoders that Listen

Po-Yao Huang, Xu Hu+6 more|arXiv (Cornell University)|Jul 13, 2022

Music and Audio Processing被引用数 109

ひとこと要約

Audio-MAE は Masked Autoencoders を音声スペクトログラムへ拡張し、高いマスキング比と局所デコーダー注意機構を用いて自己教師付き音声表現を学習し、6つのタスクで最先端の結果を達成。

ABSTRACT

This paper studies a simple extension of image-based Masked Autoencoders (MAE) to self-supervised representation learning from audio spectrograms. Following the Transformer encoder-decoder design in MAE, our Audio-MAE first encodes audio spectrogram patches with a high masking ratio, feeding only the non-masked tokens through encoder layers. The decoder then re-orders and decodes the encoded context padded with mask tokens, in order to reconstruct the input spectrogram. We find it beneficial to incorporate local window attention in the decoder, as audio spectrograms are highly correlated in local time and frequency bands. We then fine-tune the encoder with a lower masking ratio on target datasets. Empirically, Audio-MAE sets new state-of-the-art performance on six audio and speech classification tasks, outperforming other recent models that use external supervised pre-training. The code and models will be at https://github.com/facebookresearch/AudioMAE.

研究の動機と目的

• Masked autoencoder の事前学習を画像から音声スペクトログラムへ拡張し、自己教師付き表現を向上させることを動機づける。
• スペクトログラムのパッチをマスクして再構成する transformer エンコーダ-デコーダアーキテクチャを開発する。
• スペクトログラムに適したマスキング戦略（非構造 vs 構造）とデコーダ注意（グローバル vs ローカル）を検討する。
• AudioSet 上での音声だけの自己教師付き事前学習が、複数の音声・スピーチタスクで最先端の結果を示すことを実証する。
• 同一モダリティ内での事前学習とファインチューニングが、クロスモーダル転移学習の必要性を排除することを示す。

提案手法

• パッチの大部分（例: 80%）をマスクした後、エンコードされたパッチを Transformer エンコーダへ入力する。
• エンコード済みパッチを学習可能なマスクトークンでパディングし、Transformer デコーダで入力スペクトログラムを再構成する。
• デコーダではローカル注意（シフトウィンドウまたはグローバル+ローカルのハイブリッド方式）を適用し、音声の時間-周波数の局所性をよりよく捉える。
• 再構成目的としてパッチ正規化平均二乗誤差を用い、追加の対比損失は性能を改善しない。
• 下流タスク用にエンコーダを低いマスキング比で微調整し、学習を正則化するためのオプションのマスキングを行い、事前学習後はデコーダを廃止する。

実験結果

リサーチクエスチョン

• RQ1 MAEスタイルのマスクドオートエンコーディングを音声スペクトログラムへ効果的に適用して自己教師付き表現学習を実現できるか。
• RQ2 デコーダのローカル注意は、グローバル注意と比べて音声の局所的な時間-周波数構造をより良く捉えるか。
• RQ3 事前学習のマスキング戦略（非構造 vs 構造）とファインチューニングのマスキング戦略が、音声・スピーチタスクの性能にどう影響するか。
• RQ4 AudioSet のみの音声前処理で、クロスモーダル転移学習なしに複数の音声・スピーチタスクで最先端の結果を達成できるか。
• RQ5 モデルサイズ、パッチサイズ、事前学習データ量が Audio-MAE の性能に与える影響は何か。

主な発見

Model	PT-Data	AS-20K (mAP)	AS-2M (mAP)	ESC-50 (accuracy)	SPC-2 (accuracy %)	SPC-1 (accuracy %)	SID (accuracy %)
Audio-MAE (global)	AS	36.6 ±0.11	46.8 ±0.06	93.6 ±0.11	98.3 ±0.06	97.6 ±0.06	94.1 ±0.06
Audio-MAE (local)	AS	37.0 ±0.11	47.3 ±0.11	94.1 ±0.10	98.3 ±0.06	96.9 ±0.00	94.8 ±0.11

• Audio-MAE は AudioSet における自己教師付き事前学習で6つの音声・スピーチ分類タスクにおいて最先端の性能を達成。
• 高いマスキング比（80%）と非構造的マスキングで事前学習の性能が高い。
• デコーダのローカル注意（シフトウィンドウ）は、素のグローバル注意を上回り、グローバル+ローカルのハイブリッド注意も改善をもたらす。
• 下流タスクのために、低いマスキングと構造的マスキング（時間+周波数）でファインチューニングすると最良の結果になる。
• 聴覚的・定性的な再構成は、有意義なスペクトログラム復元を示し、モデルが音声構造を捉える能力を示している。