[論文レビュー] ASiT: Local-Global Audio Spectrogram vIsion Transformer for Event Classification

Sara Atito, Muhammad Awais+3 more|arXiv (Cornell University)|Nov 23, 2022

Music and Audio Processing参考文献 56被引用数 8

ひとこと要約

ASiTは、グローバルおよびローカルの対照的損失を用いた教師-生徒 distillation とグループ化されたマスクモデル学習を組み合わせることで、音声スペクトログラムの理解を向上させる自己教師付きビジョントランスフォーマーを提案する。この手法は、外部データセットやImageNetの事前学習を用いる手法を上回り、5つの音声および音声分類タスクで最先端の性能を達成する。

ABSTRACT

Transformers, which were originally developed for natural language processing, have recently generated significant interest in the computer vision and audio communities due to their flexibility in learning long-range relationships. Constrained by the data hungry nature of transformers and the limited amount of labelled data, most transformer-based models for audio tasks are finetuned from ImageNet pretrained models, despite the huge gap between the domain of natural images and audio. This has motivated the research in self-supervised pretraining of audio transformers, which reduces the dependency on large amounts of labeled data and focuses on extracting concise representations of audio spectrograms. In this paper, we propose extbf{L}ocal- extbf{G}lobal extbf{A}udio extbf{S}pectrogram v extbf{I}sion extbf{T}ransformer, namely ASiT, a novel self-supervised learning framework that captures local and global contextual information by employing group masked model learning and self-distillation. We evaluate our pretrained models on both audio and speech classification tasks, including audio event classification, keyword spotting, and speaker identification. We further conduct comprehensive ablation studies, including evaluations of different pretraining strategies. The proposed ASiT framework significantly boosts the performance on all tasks and sets a new state-of-the-art performance in five audio and speech classification tasks, outperforming recent methods, including the approaches that use additional datasets for pretraining.

研究の動機と目的

• スペクトログラムにおける局所的およびグローバルな文脈を効果的に捉える自己教師付き音声表現学習フレームワークの開発。
• 視覚分野で成功を収めたグループ化マスクモデル学習が、ドメインの違いがあるにもかかわらず音声スペクトログラムに効果的に適応可能かどうかの調査。
• より優れた特徴の区別性能を実現するために、標準的なマスクオートエンコーダー事前学習を、対照的学習を統合することで改善すること。
• 事前学習戦略、モデルサイズ、初期化の影響が、下流の音声分類性能に与える影響の評価。

提案手法

• ASiTは、音声スペクトログラムを2次元空間入力として処理するためのビジョントランスフォーマーバックボーンを採用する。
• 連結されたスペクトログラムトークンのパッチをランダムにマスクし、文脈から再構築するグループ化マスクモデル学習（GMML）を用いる。
• 教師-生徒 distillation フレームワークを導入し、生徒モデルがグローバルおよびローカル特徴の両方の対照的損失を通じて教師から学習する。
• ローカル類似性学習は、元のスペクトログラムと劣化したスペクトログラムの特徴を一致させることで、微細な区別可能なパターンを保持する。
• 再構築損失（マスクオートエンコーダーからのもの）と対照的損失（特徴一致からのもの）を併用して、モデルを共同で訓練する。
• 大規模なラベルなし音声データ（AS-2M）を用いて事前学習を行い、教師なしで一般音声表現を学習する。

実験結果

リサーチクエスチョン

• RQ1 元々画像を想定して設計されたグループ化マスクモデル学習が、1次元信号としての性質や画像とは構造が異なる音声スペクトログラムに対しても、効果的に適用可能かどうか。
• RQ2 再構築損失に加えて対照的学習を組み合わせることで、再構築のみに依存する場合と比較して、音声表現学習が向上するかどうか。
• RQ3 グローバル対照的学習に加えて、ローカル類似性学習が、効果的なマルチラベル音声イベント分類に不可欠かどうか。
• RQ4 ImageNet初期化と比較して、ドメイン内音声データで事前学習することの下流性能への影響は。
• RQ5 音声スペクトログラム表現学習において、最適な事前学習期間、マスキング比、パッチアライメント戦略は何か。

主な発見

• ASiTは、音声イベント分類、キーワード検出、話者識別を含む5つのベンチマーク音声および音声分類タスクで最先端の性能を達成する。
• より長い事前学習（最大100エポック）により、体系的な性能向上が得られ、AS-20KデータセットではmAPが着実に向上する。
• 最適なマスキング比は60%〜80%の間であり、この範囲では文脈に基づく再構築を促進しつつ、過学習を回避できるバランスが取れている。
• 特に初期学習段階において、パッチ境界に合わせてマスキングしないことで、収束が速くなり、一般化性能も向上する。
• より大きなモデルサイズ（例：ViT-Base）は、下流の性能を向上させ、ASiTの容量に応じたスケーラビリティを裏付ける。
• ドメイン内音声データ（AS-2M）で事前学習することで、ImageNet事前学習を大幅に上回り、ImageNet初期化は音声専用事前学習と比較して性能を低下させる。