[論文レビュー] Speech Representation Learning Through Self-supervised Pretraining And Multi-task Finetuning

Yi‐Chen Chen, Shu-Wen Yang+3 more|arXiv (Cornell University)|Oct 18, 2021

Speech Recognition and Synthesis参考文献 29被引用数 5

ひとこと要約

本論文は、自己教師付き学習（SSL）による音声表現学習を向上させる手法として、教師ありマルチタスク学習（MTL）微調整の有効性を調査している。SUPERBベンチマークの全タスクを同時に微調整することで、著者らはMTLが表現品質をさらに向上させることを示しているが、SSL事前学習のみと比較して、未学習のタスクへの一般化性能は依然として限定的である。

ABSTRACT

Speech representation learning plays a vital role in speech processing. Among them, self-supervised learning (SSL) has become an important research direction. It has been shown that an SSL pretraining model can achieve excellent performance in various downstream tasks of speech processing. On the other hand, supervised multi-task learning (MTL) is another representation learning paradigm, which has been proven effective in computer vision (CV) and natural language processing (NLP). However, there is no systematic research on the general representation learning model trained by supervised MTL in speech processing. In this paper, we show that MTL finetuning can further improve SSL pretraining. We analyze the generalizability of supervised MTL finetuning to examine if the speech representation learned by MTL finetuning can generalize to unseen new tasks.

研究の動機と目的

• 自己教師付き事前学習（SSL）で学習された音声表現をさらに向上させるために、教師ありマルチタスク学習（MTL）微調整が有効であるかどうかを調査すること。
• MTL微調整で得られた表現が、MTL学習に含まれない未学習の下流タスクへ一般化できるかどうかを評価すること。
• MTL微調整の過程で、個々のタスクが他のタスクの性能に与える影響を分析すること。
• 一般化可能な音声表現を学習する観点から、SSL事前学習とMTL微調整の有効性を比較すること。

提案手法

• SUPERBベンチマークで事前学習された最先端のSSLモデルを、初期の共有表現エンコーダーとして使用した。
• 全タスクMTL微調整を実施し、10のSUPERBタスクすべてに対して、共有モデルとタスク固有のヘッドを同時に学習した。
• 1つずつタスクを除いて学習するリーブ・ワン・アウトMTL微調整を実施し、そのタスクの除外が残りのタスクに与える影響を評価した。
• タスク転移学習を実施し、リーブ・ワン・アウトMTLで得られた共有モデルを固定し、除外されたタスクの特徴量を抽出した。
• 下流タスクの学習には、共有モデルからの固定表現を用い、評価シナリオではモデルパラメータを固定した。
• 4つの学習シナリオ（SSL事前学習、全タスクMTL、リーブ・ワン・アウトMTL、タスク転移学習）の性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 教師ありマルチタスク学習微調整は、自己教師付き事前学習で学習された音声表現をさらに向上させることができるか？
• RQ2 MTL微調整中に1つのタスクを除外すると、残りのタスクの性能にどのような影響を与えるか？
• RQ3 MTL学習に参加しなかった新しい未学習の下流タスクへ、MTLで学習された表現がどの程度一般化できるか？
• RQ4 MTLにおけるタスクの組み合わせの中で、互いの性能に最も有益または有害な影響を与えるのはどの組み合わせか？

主な発見

• 全タスクMTL微調整では、SSL事前学習のみと比較して、全タスクで一貫して性能向上が見られ、MTLが表現品質の向上に有効であることを示した。
• リーブ・ワン・アウトMTL分析から、話者認識タスク（ASV, SID）は、音声の内容や意味に関するタスク（ASR, PR, SF）の性能を損なう傾向にあり、特に同時学習時において顕著であった。
• 内容認識タスク（ASR, PR）は、話者認識タスクと同時に学習させることで最も大きな悪影響を受けており、表現学習に潜在的な対立があることを示唆している。
• SD（話者ダイアライゼーション）は、ASVおよびSIDと同時に学習させることで著しく性能が低下しており、フレームレベルと発話レベルの話者埋め込みに要求が相反するためと推察される。
• タスク転移学習の結果、MTLで微調整されたモデルは、SSL事前学習で微調整されたモデルと比較して、事前に除外されたタスクの性能が劣っており、未学習タスクへの一般化性能が弱いことが示された。
• ASVは過学習に陥りがちであったが、SIDと同時に学習させることで著しく緩和された。これは、タスク間の相乗効果がある可能性を示唆している。