[論文レビュー] Pretext Tasks selection for multitask self-supervised speech representation learning

Salah Zaiem, Titouan Parcollet+2 more|arXiv (Cornell University)|Jul 1, 2021

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本論文は、マルチタスク自己教師付き音声表現学習における事前学習タスクの選択および重み付けの理論的裏付けが明確で、計算的にも効率的な手法を提案する。条件付き独立性を活用して最適な損失重みを推定することで、高価なハイパーパramータ探索の必要性を低減し、自動音声認識（ASR）、話者検証、感情認識、楽器分類の各タスクで最先端の性能を達成した。ベースラインと比較して、語誤り率（WER）が最大31.6%低減され、等誤差率（EER）が27.4%低減された。

ABSTRACT

Through solving pretext tasks, self-supervised learning leverages unlabeled data to extract useful latent representations replacing traditional input features in the downstream task. In audio/speech signal processing, a wide range of features where engineered through decades of research efforts. As it turns out, learning to predict such features (a.k.a pseudo-labels) has proven to be a particularly relevant pretext task, leading to useful self-supervised representations which prove to be effective for downstream tasks. However, methods and common practices for combining such pretext tasks for better performance on the downstream task have not been explored and understood properly. In fact, the process relies almost exclusively on a computationally heavy experimental procedure, which becomes intractable with the increase of the number of pretext tasks. This paper introduces a method to select a group of pretext tasks among a set of candidates. The method we propose estimates calibrated weights for the partial losses corresponding to the considered pretext tasks during the self-supervised training process. The experiments conducted on automatic speech recognition, speaker and emotion recognition validate our approach, as the groups selected and weighted with our method perform better than classic baselines, thus facilitating the selection and combination of relevant pseudo-labels for self-supervised representation learning.

研究の動機と目的

• マルチタスク自己教師付き音声表現学習における事前学習タスクの選択および統合に、体系的で理論的根拠に基づく手法が不足しているという問題に取り組む。
• 大規模モデルを対象とした場合に実行不可能になるほど計算コストが高くなる、事前学習タスクの組み合わせに関する経験的ハイパーパramータ探索の負担を軽減する。
• 特定の下流タスクに適した、知的なデータ駆動型の事前学習タスクグループの選択手法を開発する。
• 低リソース環境や非音声音声データを含む多様な下流タスクにおいて、本手法の汎用性と頑健性を検証する。
• SpeechBrainを通じてコードを公開し、効率的な自己教師付き学習分野における再現可能性およびさらなる研究を支援する。

提案手法

• 自己教師付き表現を条件として、下流タスクのラベルと事前学習タスクのラベルの間の条件付き独立性（CI）を用いて、個々の事前学習タスクの補正済み損失重みを推定する。
• 事前学習中に部分損失の重み付き組み合わせとしての選択問題を定式化し、重みはCIに基づく統計的依存関係から導出する。
• 語レベルのアライメント（例：Montreal Forced Aligner）を用いて、語のラベルと事前学習特徴の間の関係をモデル化するため、CI推定を実行する。
• 本手法は事前学習中に適用され、各事前学習タスクが全体の損失に与える寄与度を動的に調整し、下流タスクを最も効果的に予測できるタスクを優遇する。
• PASEに類似したエンコーダーやwav2vec 2.0といった標準的なSSLアーキテクチャと互換性があり、既存のパイプラインへの統合を可能にする。
• CI最適化済みの事前学習タスクグループを用いて訓練したモデルと、ランダムまたは均等重み付けされた組み合わせを用いたモデルを比較し、WER、EER、正確度といった下流タスクの指標を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 条件付き独立性推定は、マルチタスク自己教師付き学習における事前学習タスクの選択および重み付けに、経験的ハイパーパramータ探索の代替として原理的根拠を提供できるか？
• RQ2 提案手法は、ASR、話者認識、感情認識を含む多様な音声および音声タスクにおいて、下流タスクのパフォーマンスを向上させることができるか？
• RQ3 本手法は、異なるデータセット、モデルアーキテクチャ、および音声タイプ（例：会話音声 vs. 音楽）に対して、どのようにスケーラビリティと汎用性を示すか？
• RQ4 本手法は、事前学習タスク選択における計算コストの高いアブレーションスタディの必要性をどの程度低減できるか？
• RQ5 本手法は、wav2vec 2.0のような最先端のSSLモデルに効果的に適用可能であり、訓練コストを増加させることなくパフォーマンスを向上させることができるか？

主な発見

• 提案手法は、LibriSpeech 100時間分のASRベンチマークにおいて、ランダムまたは均等重み付けされた事前学習タスクを用いたベースラインモデルと比較して、語誤り率（WER）を31.6%相対的に低減した。
• VoxCeleb1における話者検証タスクでは、等誤差率（EER）がベースラインと比較して27.4%低減され、より高い頑健性と一般化性能が示された。
• IEMOCAPデータセットにおける感情認識タスクでは、提案手法で訓練されたモデルがベースラインと比較して7.8%高い正確度を達成し、感情の兆候をよりよく捉えていることが示された。
• 楽器分類タスクへの適用では、任意のタスク特化型アーキテクチャの変更なしに最先端のパフォーマンスを達成した。これは、異なる分野への強い汎用性を示している。
• ハイパーパramータ探索の必要性が顕著に低減された。CI最適化済みの事前学習タスクグループを用いて訓練したモデルは、追加のチューニングなしに、すべてのベースラインを上回る性能を示した。
• wav2vec 2.0に適用した結果、スケーラビリティと頑健性が確認され、現代のSSLアーキテクチャとの高い互換性が裏付けられ、広範な採用の可能性が示された。