[論文レビュー] Autosegmental Neural Nets: Should Phones and Tones be Synchronous or Asynchronous?

Jialu Li, Mark Hasegawa‐Johnson|arXiv (Cornell University)|Jul 28, 2020

EEG and Brain-Computer Interfaces参考文献 31被引用数 5

ひとこと要約

この論文は、CTCベースのニューラルネットワークを用いた多言語およびクロスリンガルエンドツーエンドASRにおいて、音素と声調の同期的・非同期的モデリングを評価している。joint phone-toneモデリングは統合誤り率を低減するが、分離した声調ターゲットを用いることで、特に多言語設定における声調誤り率が低くなることが判明した。

ABSTRACT

Phones, the segmental units of the International Phonetic Alphabet (IPA), are used for lexical distinctions in most human languages; Tones, the suprasegmental units of the IPA, are used in perhaps 70%. Many previous studies have explored cross-lingual adaptation of automatic speech recognition (ASR) phone models, but few have explored the multilingual and cross-lingual transfer of synchronization between phones and tones. In this paper, we test four Connectionist Temporal Classification (CTC)-based acoustic models, differing in the degree of synchrony they impose between phones and tones. Models are trained and tested multilingually in three languages, then adapted and tested cross-lingually in a fourth. Both synchronous and asynchronous models are effective in both multilingual and cross-lingual settings. Synchronous models achieve lower error rate in the joint phone+tone tier, but asynchronous training results in lower tone error rate.

研究の動機と目的

• 多言語およびクロスリンガルエンドツーエンドASRにおいて、音素と声調を同期的か非同期的にモデリングすべきかを調査すること。
• 異なるCTCベースの音声認識モデルアーキテクチャの、多言語間での音素と声調の統合認識における有効性を評価すること。
• 異なる言語間で声調表現を共有することで、リソースが限られた環境での性能が向上するかを特定すること。
• 特に声調ターゲットの標準化を含む声調ターミナル設計の多言語およびクロスリンガルASR性能への影響を分析すること。
• 4つの異なるモデル構成における、単言語、多言語、クロスリンガルの適応性能を比較すること。

提案手法

• 4つのCTCベースのエンドツーエンドASRモデルを訓練した：1つは統合音素・声調出力ターミナル、1つは分離した音素および声調ターミナル、1つは音素・声調・統合の3ターミナル、1つは全言語で標準化された声調ターゲットを有するもの。
• すべてのモデルは、言語に依存しないエンコーダー（bLSTM×3 + 全結合層）を共有し、その後に言語固有のソフトマックス層を配置している。
• CTC損失は各出力ターミナルごとに独立して適用され、ブランク記号の処理は標準的なCTCアラインメント手順に従う。
• 多言語学習は3言語（中国語（普通話）、広東語、ベトナム語）で実施され、クロスリンガル適応は最小限のデータを用いてラオ語でテストされた。
• 誤り率は、音声的系列における編集距離を用いて算出され、子音、母音、音素、声調ごとに別々の指標が使用された。
• 基本周波数（F0）入力を認識性能に与える影響を評価する追加実験も実施された。特に母音および声調認識に注目した。

実験結果

リサーチクエスチョン

• RQ1 多言語およびクロスリンガルASRにおいて、統合出力ターミナルを用いた音素・声調の同期的モデリングは、非同期的モデリングに比べ、全体の誤り率を低減するか？
• RQ2 音素と声調の分離出力ターミナルは、特に多言語設定において、統合モデリングに比べてより低い声調誤り率を達成できるか？
• RQ3 全言語にわたって声調ターゲットを標準化することで、リソースが限られた環境におけるクロスリンガル転送性能が向上するか？
• RQ4 F0特徴の導入は、多言語およびクロスリンガル環境下での子音、母音、音素、声調認識の正確性にどのように影響するか？
• RQ5 異なるモデルアーキテクチャを用いる場合、統合音素・声調認識と独立した声調認識の間で、性能のトレードオフが生じるか？

主な発見

• 統合音素・声調出力ターミナル（モデル1）を用いた同期的モデリングは、多言語およびクロスリンガル設定の両方で最低の統合誤り率（JER）を達成した。
• 分離した声調ターミナルを用いた非同期モデリング（モデル2）は、多言語設定では最低の声調誤り率（TER）を記録したが、単言語またはクロスリンガル設定ではそうではなかった。
• 全言語で6つの記号に標準化された声調ターゲットを採用したモデル4は、多言語設定で最低のTERを達成し、より大きな声調アルファベットを用いたモデルを上回った。
• クロスリンガル適応では、モデル1がラオ語で最低のJERを記録した。これは、最小限の適応データでも統合モデリングが有効であることを示している。
• 子音および母音誤り率は、統合出力ターミナル（モデル1）を用いた場合に常に最低であり、特にF0特徴が組み込まれた場合に顕著だった。
• 声調認識の正確性は、分離した声調ターミナルを用いた場合（ラオ語ではモデル2、多言語ではモデル4）が最も高かった。これは、独立した声調モデリングがTERを向上させるが、JERは上昇する可能性があることを示唆している。