[論文レビュー] Mind the Shift: Using Delta SSL Embeddings to Enhance Child ASR

Zilai Wang, Natarajan Balaji Shankar+3 more|arXiv (Cornell University)|Jan 28, 2026

Speech Recognition and Synthesis被引用数 0

ひとこと要約

Delta 埋め込みの微調整済み SSL モデルと delta 表現の融合は子供用自動発話認識を改善し、MyST コーパスにおける新たな最先端を達成（WER 9.64）し、超低リソース設定で顕著な利得を示す。

ABSTRACT

Self-supervised learning (SSL) models have achieved impressive results across many speech tasks, yet child automatic speech recognition (ASR) remains challenging due to limited data and pretraining domain mismatch. Fine-tuning SSL models on child speech induces shifts in the representation space. We hypothesize that delta SSL embeddings, defined as the differences between embeddings from a finetuned model and those from its pretrained counterpart, encode task-specific information that complements finetuned features from another SSL model. We evaluate multiple fusion strategies on the MyST childrens corpus using different models. Results show that delta embedding fusion with WavLM yields up to a 10 percent relative WER reduction for HuBERT and a 4.4 percent reduction for W2V2, compared to finetuned embedding fusion. Notably, fusing WavLM with delta W2V2 embeddings achieves a WER of 9.64, setting a new state of the art among SSL models on the MyST corpus. These findings demonstrate the effectiveness of delta embeddings and highlight feature fusion as a promising direction for advancing child ASR.

研究の動機と目的

• Delta SSL 埋め込み（微調整済み埋め込みと事前学習埋め込みの差分）が子供用自動発話認識のタスク特異的情報を捉えられるかを調査する。
• 異なる SSL エンコーダからの微調整済み埋め込みと delta 埋め込みを融合させて補完的な表現が得られるかを検証する。
• 低リソースおよび few-shot レジームでの性能を最大化する融合戦略を特定する。
• delta 埋め込みが表現的類似性分析を通じて融合をなぜ改善するのかについて分析的洞察を提供する。

提案手法

• Delta 埋め込みを E_delta = E_ft - E_pt として各 SSL モデルに対して定義する。
• 1 つのモデルの微調整済み埋め込みと別のモデルの delta 埋め込みを Concat、Weighted、Cross-Attention の戦略で融合する。
• 微調整済みモデルから上位の CTC 層を除去し、凍結した融合特徴に対して新しい線形 CTC ヘッドを学習する。
• MyST コーパス上で全体データと 1h、5h、10h の低リソースサブセットで評価する。
• 微調整済み、事前学習、および delta 埋め込み間の表現類似性を評価するために Canonical Correlation Analysis（PWCCA）を用いる。
• 各埋め込みタイプのフレームレベル寄与を解釈するために Mixture-of-Experts のゲーティングを分析する。

Fig. 1 : CCA similarity between pre-trained and fine-tuned models.

実験結果

リサーチクエスチョン

• RQ1 delta 埋め込みは子供用自動発話認識で微調整済み SSL 表現を補完するタスク特異的シフトを捉えられるか。
• RQ2 どの融合戦略（Concat、Weighted、Cross-Attn）が delta 埋め込みを最も有効に活用できるか。
• RQ3 delta 埋め込みは ultra-low-resource シナリオ（例：1 時間の学習データ）でより大きな利得を提供するか。
• RQ4 delta 埋め込みが CA/ PWCCA および MoE のゲーティングでモデル間の補完性にどのように影響するか。
• RQ5 クロスドメイン delta 埋め込み情報は、非子供データで微調整した場合に子供用自動発話認識へ転送可能か。

主な発見

• 結合（Concatenation）は、データレジーム全般において、WavLM と delta 埋め込みの融合で常に Weighted および Cross-Attention を上回る。
• Delta W2V2 の WavLM との融合が最良の結果を達成し、全データでの WER が 9.64 となり（MyST における SSL モデルの最先端）、MyST での最先端。
• Delta HuBERT の融合も低リソース設定（例：1h）で有意な利得を生み、微調整済み HuBERT に対して相対的な WER を最大で 10% 減少。
• Delta 埋め込みは 1h、5h、10h、全データ設定で追加の利得を提供し、1h で Delta W2V2 の相対的な WER 減少が 4.4% と顕著。
• クロスドメイン Delta（LibriSpeech 調整）はベースラインを上回り、Delta にタスク特異的情報が含まれ transfer 可能性が子供用自動発話認識へ示唆される。
• MoE 分析では微調整済み埋め込みと delta 埋め込みの両方が大きく寄与しており、WavLM に対する Delta の補完性は HuBERT よりも W2V2 の方が大きい。

Fig. 2 : CCA similarity between fine-tuned and $\Delta$ embeddings.