[論文レビュー] Speech Corpus of Ainu Folklore and End-to-end Speech Recognition for Ainu Language

Kohei Matsuura, Sei Ueno+3 more|arXiv (Cornell University)|Feb 16, 2020

Speech Recognition and Synthesis参考文献 34被引用数 12

ひとこと要約

本稿では、絶滅危惧言語であるアイヌ語の伝承を収録した音声コーパスを提示し、その言語のエンドツーエンド自動音声認識（ASR）システムを構築する。音節ベースのモデリングを用いたハイブリッドCTC-アテンションモデルにより、話者固定設定では語誤り率（WER）が20%（語認識率80%）、音素誤り率（PER）が6%（音素認識率90%）を達成し、話者オープン設定では語認識率60%を達成した。多言語事前学習により、オープン設定の性能が相対的に10% WER低減され、性能が向上した。

ABSTRACT

Ainu is an unwritten language that has been spoken by Ainu people who are one of the ethnic groups in Japan. It is recognized as critically endangered by UNESCO and archiving and documentation of its language heritage is of paramount importance. Although a considerable amount of voice recordings of Ainu folklore has been produced and accumulated to save their culture, only a quite limited parts of them are transcribed so far. Thus, we started a project of automatic speech recognition (ASR) for the Ainu language in order to contribute to the development of annotated language archives. In this paper, we report speech corpus development and the structure and performance of end-to-end ASR for Ainu. We investigated four modeling units (phone, syllable, word piece, and word) and found that the syllable-based model performed best in terms of both word and phone recognition accuracy, which were about 60% and over 85% respectively in speaker-open condition. Furthermore, word and phone accuracy of 80% and 90% has been achieved in a speaker-closed setting. We also found out that a multilingual ASR training with additional speech corpora of English and Japanese further improves the speaker-open test accuracy.

研究の動機と目的

• 言語保存の緊急的な必要性に対応するため、絶滅危惧言語の文書化に資する大規模かつアノテーション済みのアイヌ語伝承音声コーパスの構築。
• 標準的な表記体系を持たない低リソースで絶滅危惧言語であるアイヌ語のエンドツーエンド自動音声認識（ASR）システムの開発。
• 低リソース環境下におけるASR性能に与える影響を評価するため、音素、音節、ワードピece、語の4つのモデリングユニットの比較。
• 日本語および英語のコーパスを用いた多言語事前学習が、アイヌ語のような低リソース言語のASR性能向上にどの程度有効であるかを調査。
• データ拡張およびトランスファー学習技術を用いて、話者固定と話者オープンのASR設定間の性能格差を低減すること。

提案手法

• アイヌ民族博物館および二品田アイヌ文化博物館の収録データから、物語語りの形式に焦点を当てた38.5時間分のアイヌ語伝承音声コーパスを構築。
• 接続主義的時系列分類（CTC）とアテンションベースのデコードを組み合わせたハイブリッドエンドツーエンドASRモデルを用い、重み付き損失関数を採用：$\mathcal{L}_{\rm{all}} = \lambda\mathcal{L}_{\rm{attn}} + (1-\lambda)\mathcal{L}_{\rm{CTC}}$ で $\lambda = 0.5$。
• 4種類のモデリングユニット（音素（約25）、音節（約500）、ワードピece（500）、語（5,000））を評価。希少語はすべて<unk>に置換。
• アイヌ語データに加え、日本語（JNAS）および英語（WSJ）コーパスを用いた多言語事前学習を実施。30エポック後にアイヌ語データでファインチューニング。
• CTC補助タスクに音素レベルのラベルを用いて、特に低リソース状況下での一般化性能を向上。
• 話者ごとの評価を実施し、話者固定および話者オープン両設定での性能を評価するため、話者ごとに重み付け平均を適用。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドASRにおいて、アイヌ語の語認識率および音素認識率が最も高いモデリングユニットは、音素、音節、ワードピece、語のうちどれか？
• RQ2 日本語および英語の音声コーパスを用いた多言語事前学習は、特に話者オープン設定におけるアイヌ語ASRシステムの性能向上に寄与するか？
• RQ3 話者固定と話者オープン評価におけるASRシステムの性能差はどのように変動し、その格差を生じさせる要因は何か？
• RQ4 アイヌ語に見られる合成語が、低音素誤り率（PER）であるにもかかわらず、高語誤り率（WER）を引き起こす要因となる程度はどの程度か？
• RQ5 アグラティネイティブ言語としての低リソース言語アイヌ語において、語レベルのモデリングと比較して、音節をモデリングユニットとして用いることで、より良いカバレッジと制約が得られるか？

主な発見

• 音節ベースのモデリングユニットが最良の性能を示し、話者固定設定では語誤り率（WER）20%（語認識率80%）、音素誤り率（PER）6%（音素認識率94%）を達成。
• 話者オープン設定では、音節モデルが語認識率60%、WER 14%、PER 14%を達成。話者間の変動が顕著に現れ、性能に大きなばらつきが生じた。
• 語ベースのモデルは性能が著しく低く、場合によってはWERが30%に達した。これは、頻繁な<unk>トークンの生成と合成語の分割誤りに起因する。
• 日本語（JNAS）および英語（WSJ）コーパスを用いた多言語事前学習により、話者オープン設定でのWERが相対的に10%低減。日本語コーパスが言語的類似性のため、より効果的であった。
• 話者固定設定では94%、話者オープン設定では86%の音素認識率を達成。低リソース状況下でも強力な発音認識性能を示した。
• WERとPERの乖離例（例：WER 57%、PER 0%）は、合成語の語分離誤りがアイヌ語ASRにおける主な課題であることを示している。