[論文レビュー] General-Purpose Speech Representation Learning through a Self-Supervised Multi-Granularity Framework

Yucheng Zhao, Dacheng Yin+5 more|arXiv (Cornell University)|Feb 3, 2021

Speech Recognition and Synthesis参考文献 29被引用数 8

ひとこと要約

本稿では、微細な時間スケール（例：音素）における生成学習と粗い時間スケール（例：文）における判別学習を組み合わせることで、汎用的音声表現学習を実現する自己教師ありマルチスケールフレームワークMGFを提案する。連続的マスキング音声モデリングにコントラスト損失を用い、複数の下流タスクで訓練することで、MGFは最先端の性能を達成し、LibriSpeechでは73.4%の音素認識精度と100%の発話者分類精度を達成し、先行する自己教師あり手法を上回った。

ABSTRACT

This paper presents a self-supervised learning framework, named MGF, for general-purpose speech representation learning. In the design of MGF, speech hierarchy is taken into consideration. Specifically, we propose to use generative learning approaches to capture fine-grained information at small time scales and use discriminative learning approaches to distill coarse-grained or semantic information at large time scales. For phoneme-scale learning, we borrow idea from the masked language model but tailor it for the continuous speech signal by replacing classification loss with a contrastive loss. We corroborate our design by evaluating MGF representation on various downstream tasks, including phoneme classification, speaker classification, speech recognition, and emotion classification. Experiments verify that training at different time scales needs different training targets and loss functions, which in general complement each other and lead to a better performance.

研究の動機と目的

• 複数の時間スケールにわたる階層的な音声構造を捉える汎用的音声表現学習フレームワークの開発。
• 人為的ラベルなしで強固で転移可能な表現を学習する挑戦に、自己教師あり学習を活用して対処すること。
• 音声表現学習において、異なる時間スケールで最適な学習目的（生成的 vs. 判別的）が異なることを示すこと。
• 音素分類、発話者認識、音声認識、感情分類を含む多様な下流タスクにおいて、フレームワークの評価を行うこと。
• MGFによる事前学習が、リソースが限られた環境におけるデータ効率を顕著に向上させることを示すこと。

提案手法

• MGFは、複数の時間スケールにわたる音声表現をモデル化するために、深層双向性Transformerアーキテクチャを採用する。
• 微細な（音素スケール）学習では、分類ではなくコントラスト損失を用いた連続的マスク言語モデル（cMLM）を採用し、BERT風のマスキングを連続的音声信号に適応する。
• 粗い（文スケール）学習では、意味的および発話者レベルの情報を捉えるために、判別的コントラスト学習を適用する。
• 両方の目的を同時に最適化することで、音声的および意味的特徴の補完的学習を可能にする。
• 事前学習はLibriSpeechの960時間のデータで実施され、下流タスクでの表現評価は線形プローブを用いる。
• タスクに応じてモデルをファインチューニングまたは固定し、各コンポonentの寄与を確認するアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 統一された自己教師ありフレームワークは、音素、語、文など複数の時間スケールにおける音声表現を効果的に学習できるか？
• RQ2 生成的および判別的学習目的を組み合わせることで、多様な下流音声タスクにおける性能が向上するか？
• RQ3 wav2vec や x-vector といった先行する自己教師ありモデルと比較して、MGFは汎化性能およびデータ効率において優れているか？
• RQ4 MGFによる事前学習は、ラベル付きデータが限られた低リソース環境での性能をどの程度向上させるか？
• RQ5 MGF表現は、ワンショット発話者分類のようなゼロショットまたはフェイシュット適応タスクで最先端の性能を達成できるか？

主な発見

• 線形評価下で、MGFはLibriSpeechで73.4%の音素分類精度を達成し、既存の自己教師あり事前学習手法を上回った。
• 発話者分類タスクでは100%の精度を達成し、このベンチマークで初めての実現であった。
• ワンショット発話者分類では、x-vector や d-vector といった既存手法を上回り、優れたフェイシュット一般化性能を示した。
• WSJ ASRベンチマークでは、MGF-960が4.87%のWERを達成し、タスク特化型のwav2vec-largeモデルと同等の性能を示し、ベースラインを著しく上回った。
• IEMOCAP感情分類タスクでは、MGF-Finetuneが73.1%の精度を達成し、音声のみの手法として新たな最先端を樹立した。
• ラベル付きデータがたった6分間の低リソース環境でも、MGFは72.3%の音素認識精度を達成したのに対し、トレインからスクラッチで学習したモデルは34.9%にとどまり、顕著なデータ効率の向上を示した。