[論文レビュー] Leveraging pre-trained representations to improve access to untranscribed speech from endangered languages

Nay San, Martijn Bartelds+10 more|arXiv (Cornell University)|Mar 26, 2021

Natural Language Processing Techniques被引用数 9

ひとこと要約

本論文は、翻訳や書き取りが存在しない低資源・途絶危惧言語におけるクエリ・バイ・エクサムプル音声語彙検索（QbE-STD）のため、特に英語単語言語の自己教師ありwav2vec 2.0表現を活用することを提案する。事前学習済みトランスフォーマー・モデルからの文脈依存的音声特徴を用いることで、対象言語が事前学習言語と無関係であっても、ベースライン手法に比べて検索性能が56–86%向上し、言語記録の文脈における多言語音声インデキシングにおける自己教師あり表現の頑健性を示している。

ABSTRACT

Pre-trained speech representations like wav2vec 2.0 are a powerful tool for automatic speech recognition (ASR). Yet many endangered languages lack sufficient data for pre-training such models, or are predominantly oral vernaculars without a standardised writing system, precluding fine-tuning. Query-by-example spoken term detection (QbE-STD) offers an alternative for iteratively indexing untranscribed speech corpora by locating spoken query terms. Using data from 7 Australian Aboriginal languages and a regional variety of Dutch, all of which are endangered or vulnerable, we show that QbE-STD can be improved by leveraging representations developed for ASR (wav2vec 2.0: the English monolingual model and XLSR53 multilingual model). Surprisingly, the English model outperformed the multilingual model on 4 Australian language datasets, raising questions around how to optimally leverage self-supervised speech representations for QbE-STD. Nevertheless, we find that wav2vec 2.0 representations (either English or XLSR53) offer large improvements (56-86% relative) over state-of-the-art approaches on our endangered language datasets.

研究の動機と目的

• 翻訳や書き取りが存在せず、エンドツーエンドASR用の十分な学習データが不足する途絶危惧言語における未翻訳音声コーパスへのアクセスを向上させること。
• 高資源言語（英語）からの事前学習音声表現が、関係のない低資源言語におけるクエリ・バイ・エクサムプル音声語彙検索（QbE-STD）を向上させることを評価すること。
• 途絶危惧言語におけるQbE-STDにおいて、単語言語モデル（wav2vec 2.0英語）と多言語モデル（XLSR53）の有効性を比較すること。
• 事前学習表現にエンコードされた発音情報の分析を通じて、言語間で微細な発音的対比を区別する能力の強みと限界を理解すること。

提案手法

• wav2vec 2.0モデル（英語単語言語およびXLSR53多言語）の11番目のトランスフォーマーレイヤーから1024次元の特徴を抽出し、クエリおよびテスト音声セグメントに適用する。
• QbE-STDの類似度スコア算出に、動的時間ワープ（DTW）を適用する。
• ベースラインとしてボトルネック特徴（BNF）を用い、検索性能評価において比較する。
• 未検索クエリの誤差分析を実施し、クエリとその上位マッチの発音表記を比較することで、体系的な誤分類パターンを同定する。
• マルチディメンショナルスケーリング（MDS）を用いて、英語および多言語wav2vec 2.0モデルの埋め込み空間におけるKaytetye子音（鼻音、爆発音）のクラスタリングを可視化・比較する。
• 9つのデータセット（7種のオーストラリア先住民言語およびGronings）を用い、検索精度やベースラインに対する相対的改善度などの指標で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 高資源言語（英語）からの事前学習wav2vec 2.0表現が、翻訳や書き取りが存在しない低資源・途絶危惧言語におけるQbE-STD性能を顕著に向上させることができるか？
• RQ2 多言語XLSR53モデルに比べ、英語単語言語wav2vec 2.0モデルが、関係のない低資源言語におけるQbE-STDで優れた性能を示すのか？（多言語モデルは53言語で学習されているが）
• RQ3 事前学習表現に保持されたり失われたりする発音的対比はどのようなものか？また、それらは、事前学習言語に非対応または希少な発音を持つ言語における検索精度にどのように影響するか？
• RQ4 多言語学習にもかかわらず、英語モデルが一部のオーストラリア先住民言語で多言語モデルを上回る性能を示すのはなぜか？
• RQ5 話者および録音条件の不一致が、事前学習特徴を用いた検索性能に与える影響は何か？また、このような影響は、表現の選択によって軽減可能か？

主な発見

• wav2vec 2.0英語単語言語モデルは、7種のオーストラリア先住民言語およびGroningsで、ベースラインBNF手法に比べてQbE-STD検索性能を56–86%相対的に向上させ、最高で42–52%の検索精度を達成した。
• 驚くべきことに、多言語XLSR53モデルに比べ、7つのオーストラリア言語データセットのうち4つで英語単語言語モデルが優れた性能を示したが、多言語モデルは53言語で学習されている。
• 誤差分析の結果、未検索クエリの75%が、上位マッチと4語素以下しか違いがなく、両者とも同じ発音的テンプレート（例：VNVNTV）を共有しており、発音部位の対比が十分に区別されていないことが判明した。
• MDSを用いた可視化により、英語モデルの表現は発音部位対比（例：リトロフラット対アレバール鼻音）を過小に表現しており、鼻音と爆発音のクラスタが重複していることが明らかになった。
• 多言語XLSR53モデルは、英語モデルよりも子音表現の重複が顕著に顕在しており、広範な多言語学習が、低資源言語における特定の発音的対比の識別能を低下させる可能性があることを示唆している。
• 言語カバレッジが低いにもかかわらず、英語モデルの表現は、関係のない言語におけるQbE-STDに有効であった。これは、ターゲット言語の発音体系に関連する発音特徴が、より強くエンコードされているためであると考えられる。