[論文レビュー] Unsupervised Domain Adaptation Schemes for Building ASR in Low-resource Languages

C. S. Anoop, Prathosh AP+1 more|arXiv (Cornell University)|Sep 12, 2021

Speech Recognition and Synthesis参考文献 20被引用数 5

ひとこと要約

本稿では、共通の音声空間を共有する高リソース言語を活用して、低リソース言語におけるASR性能を向上させるために、勾配反転層（GRL）とドメイン分離ネットワーク（DSN）を用いた教師なしドメイン適応（UDA）を提案する。5.5時間の発話音声データ（翻訳なし）とヒンディー語からの微調整を用いた場合、DSNはベースラインDNNに対して7.32%の絶対的WER低減を達成し、翻訳済みのターゲットデータが存在しない状況でも顕著な向上を示している。

ABSTRACT

Building an automatic speech recognition (ASR) system from scratch requires a large amount of annotated speech data, which is difficult to collect in many languages. However, there are cases where the low-resource language shares a common acoustic space with a high-resource language having enough annotated data to build an ASR. In such cases, we show that the domain-independent acoustic models learned from the high-resource language through unsupervised domain adaptation (UDA) schemes can enhance the performance of the ASR in the low-resource language. We use the specific example of Hindi in the source domain and Sanskrit in the target domain. We explore two architectures: i) domain adversarial training using gradient reversal layer (GRL) and ii) domain separation networks (DSN). The GRL and DSN architectures give absolute improvements of 6.71% and 7.32%, respectively, in word error rate over the baseline deep neural network model when trained on just 5.5 hours of data in the target domain. We also show that choosing a proper language (Telugu) in the source domain can bring further improvement. The results suggest that UDA schemes can be helpful in the development of ASR systems for low-resource languages, mitigating the hassle of collecting large amounts of annotated speech data.

研究の動機と目的

• 大規模な翻訳済み音声データが不足する低リソース言語における効果的なASRシステムの構築という課題に対処すること。
• 共通の発音空間を共有する高リソース言語から低リソース言語へ知識を転送できるかどうか、教師なしドメイン適応（UDA）の有効性を検証すること。
• GRLおよびDSNアーキテクチャが、高リソース言語（ヒンディー語）と低リソース言語（サーンスクリット語）間のドメインシフトを低減する有効性を評価すること。
• 言語学的に近いソース言語（テルグ語）を選択することで、ターゲット言語（サーンスクリット語）におけるASR性能がさらに向上するかどうかを検討すること。

提案手法

• ヒンディー語（ソース）とサーンスクリット語（ターゲット）の音声分布間でドメイン不変特徴を学習するために、勾配反転層（GRL）を用いたドメインアドバーシャルトレーニングを採用する。
• ドメイン分離ネットワーク（DSN）を用いて特徴を共有部と固有部に分解し、ドメイン不変表現学習を促進する。
• ターゲット（サーンスクリット語）の翻訳なしデータとして5.5時間のみを用い、ソース（ヒンディー語またはテルグ語）には大規模な翻訳済みデータを用いるが、ターゲット言語には翻訳データを一切使用しない。
• 学習された特徴のドメイン不変性を評価するために、t-SNE可視化とフレームレベルのドメイン正答率を適用する。
• DSNにおけるマルチコンponent損失関数を用い、再構成（MSE）、類似性、差分損失を組み合わせ、ドメイン固有および共有表現を分離する。
• 語誤り率（WER）を用いて、サーンスクリット語テストセット上でベースラインDNN、マルチタスク学習（MT）、GRL、DSNモデルの性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 5.5時間の翻訳なしデータでの学習に限っても、教師なしドメイン適応（UDA）がサーンスクリット語のような低リソース言語におけるASR性能を顕著に向上させられるか？
• RQ2 GRLおよびDSNアーキテクチャは、ヒンディー語（高リソース）とサーンスクリット語（低リソース）間でドメイン不変特徴を学習するのにどの程度効果的か？
• RQ3 ヒンディー語の代わりに言語学的に近いソース言語（テルグ語）を選択することで、サーンスクリット語におけるASR性能が向上するか？
• RQ4 学習された特徴がどの程度ドメイン独立性を示すか、特にソースおよびターゲットデータセットにおけるドメイン正答率から測定した場合、UDAモデルの特徴のドメイン不変性はどの程度か？
• RQ5 DSN損失関数の個々のコンponent（再構成、類似性、差分）が、全体のモデル性能にどのように寄与しているか？

主な発見

• DSNモデルは、わずか5.5時間の翻訳なしサーンスクリット語データでの微調整を経て、ベースラインDNNと比較して語誤り率（WER）を7.32%絶対的に低減した。
• GRLモデルも、同じ低リソース設定下で、ベースラインDNNと比較してWERを6.71%絶対的に低減した。
• ヒンディー語の代わりにテルグ語をソースドメインとして使用した場合、DSNモデルはサーンスクリット語テストセットでWER 13.72%を達成し、ヒンディー語からの適応と比較して3.5–4.5%の改善を示した。
• フレームレベルのドメイン正答率は、UDAモデル（例：DSNのサーンスクリット語テストで63.21%）において顕著に低下しており、マルチタスク学習（91.86%正答率）と比較して、特徴がよりドメイン不変であることが確認された。
• DSNで類似性損失（β = 0）が欠落すると、WERが3.11%上昇（20.37%に）し、これは類似性損失が固有特徴と共有特徴を分離する上で極めて重要な役割を果たしていることを示している。
• DSNにおける再構成損失にSIMSEをMSEの代わりに使用した場合、WERが0.90%悪化（18.00% vs. 17.26%）し、MSEが再構成に比べてより効果的であることが示された。