[論文レビュー] SpeechNet: A Universal Modularized Model for Speech Processing Tasks

Yi‐Chen Chen, Po-Han Chi+8 more|arXiv (Cornell University)|May 7, 2021

Speech Recognition and Synthesis参考文献 67被引用数 6

ひとこと要約

本稿では、共通のエンコーダーとデコーダーを用いて、自動音声認識（ASR）、音声強調、話者分類、音声合成（TTS）、音声変換（VC）などの多様な音声処理タスクを統合する、ユニバーサルでモジュラーなモデルSpeechNetを提案する。マルチタスク学習が、特にASRにおいて性能向上をもたらすことを示し、今後のモジュラーでマルチタスクな音声モデル研究を促進するため、コードを公開している。

ABSTRACT

There is a wide variety of speech processing tasks ranging from extracting content information from speech signals to generating speech signals. For different tasks, model networks are usually designed and tuned separately. If a universal model can perform multiple speech processing tasks, some tasks might be improved with the related abilities learned from other tasks. The multi-task learning of a wide variety of speech processing tasks with a universal model has not been studied. This paper proposes a universal modularized model, SpeechNet, which treats all speech processing tasks into a speech/text input and speech/text output format. We select five essential speech processing tasks for multi-task learning experiments with SpeechNet. We show that SpeechNet learns all of the above tasks, and we further analyze which tasks can be improved by other tasks. SpeechNet is modularized and flexible for incorporating more modules, tasks, or training approaches in the future. We release the code and experimental settings to facilitate the research of modularized universal models and multi-task learning of speech processing tasks.

研究の動機と目的

• 幅広い音声処理タスクを統一されたフレームワークで処理できるユニバーサルモデルの開発。
• 多様な音声タスク間でのマルチタスク学習が、知識の転送を通じてモデル性能を向上させるかどうかの調査。
• 新しいタスクやモジュール、学習戦略の柔軟な統合を可能にするモジュラーなアーキテクチャの設計。
• 研究を促進するため、コードと実験設定を公開すること。

提案手法

• すべての音声処理タスクを入力-出力ペア（音声/テキスト入力 → 音声/テキスト出力）として扱い、統一されたフレームワークを実現。
• 6つのコアモジュール（プロソディ・エンコーダー、話者エンコーダー、コンテンツエンコーダー、音声デコーダー、テキストエンコーダー、テキストデコーダー）を用い、それぞれが特定のモodalを処理。
• タスク固有のパイプラインをモジュールの連結により構築し、例としてASR（音声入力 → テキスト出力）やTTS（テキスト入力 → 音声出力）を実現。
• 複数のタスクを共有パラメータで同時に学習するマルチタスク学習（MTL）を適用し、目的間で勾配を蓄積する方式を採用。
• 勾配の衝突を緩和するため、AutoLossとPCGradといった最適化戦略を採用。
• 統一された損失関数を用い、適応的重み付け（AutoLoss）と勾配再重み付け（PCGrad）により、多様なタスク間での学習安定性を向上。

実験結果

リサーチクエスチョン

• RQ1 1つのユニバーサルモデルが、マルチタスク学習を通じて多様な音声処理タスクを効果的に学習できるか。
• RQ2 どの音声処理タスクの組み合わせが、共同学習における知識の転送によって利益を受けるか。
• RQ3 AutoLossやPCGradといった最適化戦略が、5タスクのマルチタスク学習における学習安定性と性能に与える影響はいかほどか。
• RQ4 マルチタスク学習が、さまざまな音声タスクにおいて単一タスク学習と比較して、どの程度性能を向上させるか。
• RQ5 SpeechNetのモジュラー設計は、トランスファー学習やメタラーニングといった新しいタスクや学習パラダイムの統合に拡張可能か。

主な発見

• ASRの性能は2タスク学習で顕著に向上し、特にSE、SC、TTS、VCと同時に学習した場合、コンテンツ表現への知識転送が顕著に見られた。
• ASRと共同で学習させた場合、PESQおよびSTOI指標においてSEの性能がわずかに向上し、プロソディ的およびコンテンツ的ヒントが強調に寄与していることが示唆された。
• TTSと共同で学習させた場合、SCの性能が向上し、テキストから音声を生成するプロセスが話者固有の特徴を学習するのに寄与していることが示された。
• ASRと共同で学習させた場合、VCの性能がわずかに向上し、ASRによるより良いコンテンツ同期が音声変換品質の向上に寄与していることが示唆された。
• 5タスク学習では、標準的な最適化戦略では単一タスク学習を上回らなかったが、AutoLossとPCGradの両方を適用した場合にのみ性能が安定した。
• アブレーションスタディにより、最適化戦略の選択が極めて重要であることが確認された：PCGradなしではSCは収束せず、PCGradのみではASRの性能が最も悪かった。両方の戦略の併用が不可欠であることが示された。