[論文レビュー] Multi-task Recurrent Model for True Multilingual Speech Recognition

Zhiyuan Tang, Lantian Li+1 more|arXiv (Cornell University)|Sep 27, 2016

Speech Recognition and Synthesis参考文献 13被引用数 3

ひとこと要約

本論文では、自動音声認識（ASR）と言語認識（LR）のコンponentを共同で学習することで、言語に配慮した多言語音声認識を実現するマルチタスク再帰的モデルを提案する。LRコンponentからのリアルタイムの言語予測をASRデコーダーにフィードバックすることで、デコーディング中の言語間競合を軽減し、特に英語において顕著なWED改善を達成した。英語-中国語二か国語タスクにおいて、最良の設定でベースライン比で英語のWERを1.04%低減した。

ABSTRACT

Research on multilingual speech recognition remains attractive yet challenging. Recent studies focus on learning shared structures under the multi-task paradigm, in particular a feature sharing structure. This approach has been found effective to improve performance on each individual language. However, this approach is only useful when the deployed system supports just one language. In a true multilingual scenario where multiple languages are allowed, performance will be significantly reduced due to the competition among languages in the decoding space. This paper presents a multi-task recurrent model that involves a multilingual speech recognition (ASR) component and a language recognition (LR) component, and the ASR component is informed of the language information by the LR component, leading to a language-aware recognition. We tested the approach on an English-Chinese bilingual recognition task. The results show that the proposed multi-task recurrent model can improve performance of multilingual recognition systems.

研究の動機と目的

• デコーディング中の言語間競合が原因で生じる多言語ASRの性能低下を是正すること。
• ASRとLRコンponentが相互に性能を向上させる共同学習フレームワークの開発。
• ASRデコーダーにリアルタイムの言語情報を提供することで、真の多言語デコーディングを実現し、単一言語の言語モデルへの依存を低減すること。
• 言語間の音声的・言語的共通性を共有することで、低リソース言語の認識性能を向上させること。
• 共有および統一された言語モデルを用いた二か国語（英語-中国語）ASR設定における再帰的マルチタスク学習の有効性を評価すること。

提案手法

• ASRとLRコンponentが再帰的情報を共有するように設計されたマルチタスク再帰的LSTMアーキテクチャを採用。
• LRコンponentの出力を条件付き入力としてASRデコーダーにフィードバックし、デコーディング中にASRモデルが言語に配慮するようにする。
• LRコンponentからの再帰的フィードバックにより、フレーム単位で言語アイデンティティの推定を繰り返し精錬し、時間経過とともにデコーディングの信頼性を向上させる。
• 比較のため、モノリンガル言語モデル（mono-LM）とバイリンガル言語モデル（bi-LM）の両方をサポートし、重み付き有限状態トランスデューサーを用いてデコーディングを実施。
• 入力ゲート、出力ゲート、非線形活性化関数への再帰的状態のフィードバックといった、異なるフィードバック設定を検討。
• エンドツーエンドの誤差逆伝播を用いて共同学習を実施し、LRコンponentがASRデコーディングをガイドするための言語的文脈を提供する。

実験結果

リサーチクエスチョン

• RQ1 ASRとLRコンponentの共同学習により、多言語デコーディングにおける言語間競合を軽減できるか？
• RQ2 補助的なLRコンponentから得られるリアルタイムの言語情報が、推論時のASR性能を向上させるか？
• RQ3 提案されたマルチタスク再帰的モデルは、標準的な特徴共有手法や単一言語ベースラインシステムと比較して、二か国語ASRでどのように性能を発揮するか？
• RQ4 二か国語設定において、中国語のような低リソース言語の性能向上に、このモデルはどの程度寄与できるか？
• RQ5 再帰的フィードバックのどのアーキテクチャ的設定が、共同ASR-LR学習において最良の性能を達成するか？

主な発見

• 最良のフィードバック設定を用いることで、提案モデルはベースラインのmono-LMシステム比で英語のWERを1.04%低減し、15.65%のWERを達成した。
• 複数の設定において一貫した0.4–0.5%の英語WER改善が確認され、アーキテクチャの変化に対して高いロバスト性を示した。
• 中国語のASR性能は、設定にかかわらず最小限の向上（≤0.5%の低下）にとどまり、データ不一致やチャネル変動の影響による制限が示唆された。
• 入力ゲート、出力ゲート、活性化関数に再帰的情報をフィードバックする最良の設定では、mono-LM下で英語で15.65%、中国語で23.82%の最低WERを達成した。
• すべてのマルチタスク設定が訓練データのサブセットでもベースラインを上回ったことから、モデルは訓練データに良好に一般化しており、過学習の低減と強力な学習能力を示した。
• bi-LM設定ではmono-LMに比べ若干高いWERを示したが、マルチタスクモデルは依然としてベースラインを上回っており、統一言語モデル下でも有効性が確認された。