[論文レビュー] Leveraging End-to-End ASR for Endangered Language Documentation: An Empirical Study on Yoloxóchitl Mixtec

Jiatong Shi, Jonathan D. Amith+4 more|arXiv (Cornell University)|Jan 26, 2021

Natural Language Processing Techniques参考文献 22被引用数 7

ひとこと要約

本稿では、途切れやすい言語の文書化における転写のボトルネックを軽減するために、エンドツーエンドの自動音声認識（ASR）と初心者による転写を組み合わせたハイブリッドアプローチを提案する。階層的ダイナミックアライメントと投票ベースの統合を活用することで、Yoloxóchitl Mixtecにおける声調、接尾語的接続語、括弧の誤りにおいて、文字誤り率（CER）を最大87.5％まで低減した。これは、ASRが低リソース環境下でも初心者による転写誤りを効果的に是正できることを示している。

ABSTRACT

"Transcription bottlenecks", created by a shortage of effective human transcribers are one of the main challenges to endangered language (EL) documentation. Automatic speech recognition (ASR) has been suggested as a tool to overcome such bottlenecks. Following this suggestion, we investigated the effectiveness for EL documentation of end-to-end ASR, which unlike Hidden Markov Model ASR systems, eschews linguistic resources but is instead more dependent on large-data settings. We open source a Yoloxóchitl Mixtec EL corpus. First, we review our method in building an end-to-end ASR system in a way that would be reproducible by the ASR community. We then propose a novice transcription correction task and demonstrate how ASR systems and novice transcribers can work together to improve EL documentation. We believe this combinatory methodology would mitigate the transcription bottleneck and transcriber shortage that hinders EL documentation.

研究の動機と目的

• エンドツーエンドの自動音声認識（ASR）と初心者による転写を組み合わせ、途切れやすい言語（EL）の文書化における転写ボトルネックを軽減する。
• 熟練した転写者では収集された音声データの量に追いつかない現状を改善するため、最小限の訓練で nativespeakers を初心者転写者として活用する。
• Yoloxóchitl Mixtec のような標準的な拼字法や言語資源が不足する低リソースELに対して、エンドツーエンドASRの実用可能性を評価する。
• ASRの出力と初心者による転写を統合するハイブリッド補正フレームワークを構築し、その有効性を検証する。
• YMCコーパスを用いて、途切れやすい言語環境におけるエンドツーエンドASRの再現可能でオープンソースのパイプラインを実装する。

提案手法

• Yoloxóchitl Mixtecの100時間分の専門家が検証済みコーパス（YMC-EXP）を用いて、ESPNetツールキットを用いてエンドツーエンドASRシステムを構築した。
• 初心者による転写と専門家の是正を含む8時間以上の記録を用いて、初心者転写補正タスクを新たに開発した（YMC-NTコーパス）。
• 語彙レベルと音節レベルの両方で編集距離を計算する階層的ダイナミックアライメント法を実装し、ASR出力と初心者転写の間のアライメント精度を向上させた。
• Yoloxóchitl Mixtec固有の文法的・音声的ルールを活用したルールベースの統合システムを設計し、声調、接尾語的接続語、句読点の誤りを是正した。
• E2E-Transformer、E2E-Conformer、および初心者転写の仮説を統合する投票ベースの統合（ROVER）を適用し、耐障害性を向上させた。
• 完全な（100時間）および縮小版（50時間）のデータセットを用いてE2E-Conformerモデルを訓練し、データ効率を評価した。

実験結果

リサーチクエスチョン

• RQ1 標準的な言語資源が乏しい低リソースな途切れやすい言語、例えばYoloxóchitl Mixtecに対して、エンドツーエンドASRシステムが十分な性能を発揮できるか。
• RQ2 最小限の訓練を受けた初心者転写者による転写が、ELの文書化において実用的な水準に達するか。
• RQ3 ASRと初心者転写を統合するハイブリッドアプローチが、転写誤りをどれほど効果的に低減できるか。
• RQ4 階層的ダイナミックアライメントは、ELの音声的・語彙的パターンを捉えることで、誤り是正を向上させられるか。
• RQ5 ASRモデルのデータ効率は、限られた学習データでも効果的な転写支援を可能にするか。

主な発見

• ROVER-Fusion2システムが最小の文字誤り率（CER）を達成し、括弧の誤りで最大87.5％、接尾語的接続語の誤りで50％、声調の誤りで25％の誤り低減を達成した。
• 投票ベースの統合手法（ROVER-Fusion2）は、クリーンな音声条件下で個々のモデルやベースラインシステムを著しく上回った。
• 50時間の学習データのみでさえも、E2E-Conformerモデルが初心者転写の誤りを低減し、データ効率の高さを示した。
• ノイズの高い条件下では、初心者転写のみがASRを上回り、CERは8.5％未満であったのに対し、ASRは23％を超えた。
• Yoloxóchitl Mixtec固有の音声的・語彙的ルールに基づくルールベースの統合システムは、初心者による系統的な誤りを効果的に是正した。
• 本研究では、ASRと初心者転写が補い合う誤りパターンを示し、統合によって誤り低減を有効に実現できることを示した。