[論文レビュー] SUPERB: Speech processing Universal PERformance Benchmark

Shu-Wen Yang, Po-Han Chi+18 more|arXiv (Cornell University)|May 3, 2021

Topic Modeling参考文献 40被引用数 51

ひとこと要約

SUPERBは、固定化された凍結済み事前学習モデルフレームワークを導入し、10以上の音声タスクにわたる自己教師付き学習表現を、軽量な下流ヘッドとともにベンチマークする。従来のパイプラインと比べて競争力のある結果を示す。

ABSTRACT

Self-supervised learning (SSL) has proven vital for advancing research in natural language processing (NLP) and computer vision (CV). The paradigm pretrains a shared model on large volumes of unlabeled data and achieves state-of-the-art (SOTA) for various tasks with minimal adaptation. However, the speech processing community lacks a similar setup to systematically explore the paradigm. To bridge this gap, we introduce Speech processing Universal PERformance Benchmark (SUPERB). SUPERB is a leaderboard to benchmark the performance of a shared model across a wide range of speech processing tasks with minimal architecture changes and labeled data. Among multiple usages of the shared model, we especially focus on extracting the representation learned from SSL due to its preferable re-usability. We present a simple framework to solve SUPERB tasks by learning task-specialized lightweight prediction heads on top of the frozen shared model. Our results demonstrate that the framework is promising as SSL representations show competitive generalizability and accessibility across SUPERB tasks. We release SUPERB as a challenge with a leaderboard and a benchmark toolkit to fuel the research in representation learning and general speech processing.

研究の動機と目的

• 多様なタスクにわたり、SSL音声表現の一般化と再利用性を評価する標準的かつ総合的なベンチマークを提供する。
• 軽量なタスク特化ヘッドを持つ凍結済みの共有事前学習モデルの有効性を評価する。
• 広範なタスクセットにわたり、SSL表現と従来の特徴量（FBANK）を比較する。
• オープンソースのツールキットとリーダーボードを用いた、公開可能で再現性の高い評価を促進する。

提案手法

• タスクを内容（content）、話者（speaker）、意味論（semantics）、パラリンガスティクス（paralinguistics）の4領域に分け、10タスクと標準化データセットを使用する。
• 凍結済みの共有SSL事前学習モデルを普遍的な表現エンコーダとして使用する。
• 軽量なタスク特化予測ヘッドを付与し、これらのヘッド（および小規模な下流部品）のみを訓練する。
• 多層表現を抽出し、下流入力のために重み付き和で結合する。
• 生成型、識別型、マルチタスク事前学習を網羅する幅広いSSLモデルを評価する。
• 提出と再現性のためのベンチマークツールキットとオンラインリーダーボードを提供する。

実験結果

リサーチクエスチョン

• RQ1 単一の事前学習済みSSLモデルが、最小限の下流訓練で多様な音声タスクに対して普遍的な表現エンコーダとして機能できるか。
• RQ2 凍結表現・軽量ヘッド構成で使用した場合、生成型・識別型・マルチタスクといった異なるSSL事前学習パラダイムはどう比較されるか。
• RQ3 制約された下流チューニングの下で、SSL表現はこれらのタスクで従来のFBANK特徴を上回るか。
• RQ4 内容・話者・意味論・パラリンガスティクスのタスクにおけるSSLモデルの相対的な性能と一般化能力はどうか。

主な発見

PR	KS	IC	SID	ER	ASR (WER)	QbE	SF	ASV	SD	PER	ACC	ACC	ACC	ACC	LMなし	MTWV	F1	CER	EER	DER
FBANK	82.01	8.63	9.10	8.5E-4	35.39	23.18	15.21	0.0058	69.64	52.94	9.56	10.05
PASE+ [16]	58.87	82.54	29.82	37.99	57.86	25.11	16.62	0.0072	62.14	60.17	11.61	8.68
APC [7]	41.98	91.01	74.69	60.42	59.33	21.28	14.74	0.0310	70.46	50.89	8.56	10.53
VQ-APC [32]	41.08	91.11	74.48	60.15	59.66	21.20	15.21	0.0251	68.53	52.91	8.72	10.45
NPC [33]	43.81	88.96	69.44	55.92	59.08	20.20	13.91	0.0246	72.79	48.44	9.4	9.34
Mockingjay [8]	70.19	83.67	34.33	32.29	50.28	22.82	15.48	6.6E-04	61.59	58.89	11.66	10.54
TERA [9]	49.17	89.48	58.42	57.57	56.27	18.17	12.16	0.0013	67.50	54.17	15.89	9.96
DeCoAR 2.0 [10]	14.93	94.48	90.80	74.42	62.47	13.02	9.07	0.0406	83.28	34.73	7.16	6.59
modified CPC [34]	42.54	91.88	64.09	39.63	60.96	20.18	13.53	0.0326	71.19	49.91	12.86	10.38
wav2vec [12]	31.58	95.59	84.92	56.56	59.79	15.86	11.00	0.0485	76.37	43.71	7.99	9.9
vq-wav2vec [13]	33.48	93.38	85.68	38.80	58.24	17.71	12.80	0.0410	77.68	41.54	10.38	9.93
wav2vec 2.0 Base [14]	5.74	96.23	92.35	75.18	63.43	6.43	4.79	0.0233	88.30	24.77	6.02	6.08
wav2vec 2.0 Large [14]	4.75	96.66	95.28	86.14	65.64	3.75	3.10	0.0489	87.11	27.31	5.65	5.62
HuBERT Base [35]	5.41	96.30	98.34	81.42	64.92	6.42	4.79	0.0736	88.53	25.20	5.11	5.88
HuBERT Large [35]	3.53	95.29	98.76	90.33	67.62	3.62	2.94	0.0353	89.81	21.76	5.98	5.75

• SSL表現（例：wav2vec 2.0およびHuBERT）は、軽量なタスクヘッドとともに、複数のSUPERBタスクで競争力のある結果を達成する。
• FBANK特徴量は競合するにはより多くの下流の複雑さを要する。SSL表現は線形または単純な下流モデルでFBANKを上回ることが多い。
• 特定のSSLモデルは特定のタスク（PR、IC、QbE、SF）で卓越し、エンドツーエンドASRおよびQbE文脈で顕著な改善を示す。
• このフレームワークは、音声処理タスクに対するSSL表現の強力な一般化と再利用性を示す。
• HuBERTおよびwav2vec 2.0は、QbEやSFを含むいくつかのタスクで特に高い性能を示す。
• このアプローチは、堅牢なSSL表現を最小限の下流カスタマイズで活用することで、ASRシステム開発を容易にする。