[論文レビュー] BYOL-S: Learning Self-supervised Speech Representations by Bootstrapping

Gasser Elbanna, Neil Scheidwasser+4 more|arXiv (Cornell University)|Jun 24, 2022

Speech and Audio Processing被引用数 10

ひとこと要約

本論文は、自己教師あり学習フレームワークを用いて性能を向上させるために、AudioSet の音声固有サブセットで微調整された自己教師あり音声表現モデルである BYOL-S を提案する。手動特徴量（openSMILE）と学習済み特徴量を組み合わせたハイブリッドトレーニングプロトコルを導入し、畳み込み型トランスフォーマー・エンコーダーを用いることで、HEAR 2021 チャレンジにおいてほとんどの音声タスクで最先端の結果を達成した。特に、音声分類および環境音分類において顕著な性能向上を示した。

ABSTRACT

Methods for extracting audio and speech features have been studied since pioneering work on spectrum analysis decades ago. Recent efforts are guided by the ambition to develop general-purpose audio representations. For example, deep neural networks can extract optimal embeddings if they are trained on large audio datasets. This work extends existing methods based on self-supervised learning by bootstrapping, proposes various encoder architectures, and explores the effects of using different pre-training datasets. Lastly, we present a novel training framework to come up with a hybrid audio representation, which combines handcrafted and data-driven learned audio features. All the proposed representations were evaluated within the HEAR NeurIPS 2021 challenge for auditory scene classification and timestamp detection tasks. Our results indicate that the hybrid model with a convolutional transformer as the encoder yields superior performance in most HEAR challenge tasks.

研究の動機と目的

• 音声に最適化された汎用音声表現モデルの開発を目的とし、BYOL-A フレームワークを音声固有データセットに適応させること。
• 異なるエンコーダー・アーキテクチャ、事前学習データセット、およびトレーニングウィンドウサイズが自己教師あり音声表現学習に与える影響を調査すること。
• 手動特徴量（openSMILE）と深層ニューラルネットワーク特徴量を共同で最適化する新しいハイブリッド事前学習プロトコルの評価。
• ハイパーパrameterの最適化とウィンドウサイズの適応により、タイムスタンプ検出の性能を向上させること。
• HEAR 2021 チャレンジにおける16の下流タスクにおいて、得られた表現をベンチマークすること。

提案手法

• AudioSet の音声固有サブセットで BYOL-A モデルを再学習し、音声最適化された自己教師あり表現学習者である BYOL-S を構築した。
• 表現品質の向上を目的に、畳み込み型トランスフォーマー（CvT）を含む複数のエンコーダー・アーキテクチャを検討した。
• モデルが openSMILE 特徴量とディープニューラルネットワーク埋め込みの両方から学習するハイブリッド事前学習プロトコルを提案した。このプロトコルでは、共有損失関数を用いた。
• 自己教師あり事前学習中のロバストネス向上を目的に、時間領域および周波数領域でのデータ拡張を適用した。
• ハイブリッド損失関数内のハイパーパrameter α と β を最適化した。音声および環境音タスクにおいて、α=β=1 が最良の性能を示した。
• 2段階のトレーニングプロトコルを採用した：まずエンコーダーを音声クリップで事前学習し、次に学習済み表現を用いて下流タスクで微調整した。

実験結果

リサーチクエスチョン

• RQ1 元のモデルと比較して、BYOL-A を音声固有データセットで微調整することで、音声関連の下流タスクにおける性能が向上するか？
• RQ2 畳み込み型トランスフォーマーなどの異なるエンコーダー・アーキテクチャは、自己教師あり音声表現の質にどのように影響するか？
• RQ3 手動特徴量（openSMILE）と深層学習特徴量を組み合わせたハイブリッド事前学習プロトコルは、汎用音声表現学習を向上させることができるか？
• RQ4 ハイパーパrameter α と β によって制御される、手動特徴量と学習済み特徴量の最適なバランスは何か？
• RQ5 事前学習時のウィンドウサイズが、特に一時的な音楽的イベントに注目したタイムスタンプ検出タスクの性能にどのように影響するか？

主な発見

• 畳み込み型トランスフォーマー・エンコーダーを搭載したハイブリッドモデル（BYOL-S/CvT）は、HEAR 2021 ベンチマークのほとんどのタスクで優れた性能を達成し、元の BYOL-S およびベースラインモデルを上回った。
• 音声および環境音タスクにおいて、最適なハイパーパラメータ設定は α=β=1 であり、比が不均衡になると性能が低下した。
• 音楽関連タスクでは、α=β=1 が他の比と比較して著しく悪い結果を示し、最適なハイパーパラメータ選択がデータセット依存であることを示した。
• ハイブリッドトレーニングプロトコルは、openSMILE と BYOL-S 埋め込みの単純な連結よりも優れた性能を示した。これは、共同最適化が次元の呪いを回避し、特徴相関を向上させることを示唆している。
• 事前学習のウィンドウサイズを短縮することで、MAESTRO 音楽譜記録タスクにおけるノート発生検出の性能が顕著に向上した。これは、一時的イベントのための時間分解能の重要性を強調している。
• ハイブリッド BYOL-S/CvT モデルは、音声からの認知的および身体的負荷検出タスクにおいても競争力のある結果を達成し、HEAR ベンチマークを越えた堅牢性を検証した。