[論文レビュー] Measuring the Impact of Individual Domain Factors in Self-Supervised Pre-Training

Ramon Sanabria, Wei-Ning Hsu+2 more|arXiv (Cornell University)|Mar 1, 2022

Speech Recognition and Synthesis被引用数 6

ひとこと要約

本論文は、wav2vec2.0を用いた自己教師付き音声表現学習における、音声的要因（発音、文法、話者差異など）の個別的影響を隔離するための制御された研究を提示する。音声を合成または変更することで単一のドメイン要因を変化させ、著者らは発音的およびプロソディックな変動が文法的・語彙的要因よりもはるかに重要であることを発見した。また、大規模な合成データセットは小規模な実データセットを上回ることを示した。

ABSTRACT

Human speech data comprises a rich set of domain factors such as accent, syntactic and semantic variety, or acoustic environment. Previous work explores the effect of domain mismatch in automatic speech recognition between pre-training and fine-tuning as a whole but does not dissect the contribution of individual factors. In this paper, we present a controlled study to better understand the effect of such factors on the performance of pre-trained representations on automatic speech recognition. To do so, we pre-train models either on modified natural speech or synthesized audio, with a single domain factor modified, and then measure performance after fine-tuning. Results show that phonetic domain factors play an important role during pre-training while grammatical and syntactic factors are far less important. To our knowledge, this is the first study to better understand the domain characteristics of pre-trained sets in self-supervised pre-training for speech.

研究の動機と目的

• 自動音声認識における自己教師付き事前学習に、発音、文法、話者差異といった個別のドメイン要因がどのように影響するかを理解すること。
• 従来の研究がドメイン不一致を包括的問題として扱うのを補完するために、各要因の寄与度を個別に隔離し測定すること。
• 制御されたドメイン変動を伴う合成音声が、特に実データが限られる状況において、モデルの事前学習に有効であるかを評価すること。
• 非言語的または合成信号（ノイズやトーンシーケンスなど）から意味のある表現を学習できるかを検証すること。

提案手法

• 著者らは、音声合成（Fastspeech2とHiFi-GAN音声生成器）および音声操作を用い、1つのドメイン要因のみを変化させるように事前学習データセットを生成または変更した。
• 音声の発音的、文法的、語彙的、プロソディックな変動をターゲットに、VCTK や LJ Speech から合成した、または Librispeech から変更した制御されたデータセットを用いて、wav2vec2.0 モデルを事前学習した。
• 性能評価は、10時間分の Libri-light dev-other/clean データセットを用いて微調整することで、標準的なASR指標を用いて行った。
• 非言語的信号への一般化をテストするために、白色ノイズ、ランダムトーンシーケンス、合成発音シーケンスといった異なるタイプの事前学習データを比較した。
• 重要な手法的選択として、特に高レベルの合成データでは学習が失敗するため、事前学習済み特徴抽出器を用いた。
• 大規模な合成データセット（960時間）と小規模な実データセット（24時間または44時間）を比較するアブレーションスタディを実施し、データ効率を評価した。

実験結果

リサーチクエスチョン

• RQ1 発音的ドメイン要因（例：音素配置やプロソディ）を変更すると、自己教師付きASRモデルの性能にどのような影響を与えるか？
• RQ2 文法的および語彙的変動は、発音的要因と比較して、事前学習効果にどの程度影響を与えるか？
• RQ3 ランダムノイズやトーンシーケンスといった非言語的信号で、モデルを効果的に事前学習できるか？
• RQ4 大規模な合成事前学習データセットは、下流のASR精度において、小規模な実データセットを上回るか？
• RQ5 事前学習済み特徴抽出器を用いることで、極めて合成的または非言語的音声データから学習できるか？

主な発見

• 発音的ドメイン要因（音素配置やプロソディック変動）は、文法的・語彙的要因と比較して、下流のASR性能にはるかに大きな影響を与える。
• 音素セットを変更せずに音素配置を変更すると、dev-otherでWERが最大30%まで低下し、発音構造への感受性が強いことが示された。
• 語順の変更（文法的変動）はほとんど影響せず、最悪ケースでもWERは2%未満しか上昇しなかった。これは、文法的構造が表現学習にとってあまり重要ではないことを示唆している。
• VCTK（109人の話者）から合成された960時間の合成音声で事前学習したモデルは、44時間の実VCTKデータで事前学習したモデルを上回り、dev-otherで38.7%のWERを達成した（対象は49.7%）。
• たとえランダムトーンシーケンス（200–900Hzの44音素）のような合成信号でも、事前学習済み特徴抽出器を組み合わせることで、Transformerモジュールを効果的に事前学習でき、非事前学習ベースラインを上回った。
• 白色ノイズやランダムな語長のトーンシーケンスで事前学習すると収束せず、性能が劣るため、有効な事前学習には構造的で整合性のある合成信号が必要であることが示された。