[論文レビュー] Romanian Speech Recognition Experiments from the ROBIN Project

Andrei-Marius Avram, Vasile Păiș+1 more|arXiv (Cornell University)|Nov 23, 2021

Speech and dialogue systems参考文献 34被引用数 5

ひとこと要約

本稿では、言語モデルを用いて9.91%の語誤り率（WER）を達成しながら100ms未満の推論遅延を維持する、ルーマニア語向けの低遅延・高精度な深層ニューラルネットワークベースの自動音声認識（ASR）システムを提示する。本研究では、連符、大文字化、未知語の補正のためのモジュラーな後処理コンponentを統合し、ロボット会話応用のリアルタイムWebベース音声認識を実現するため、RELATEプラットフォーム上でAPIを介してシステムをデプロイする。

ABSTRACT

One of the fundamental functionalities for accepting a socially assistive robot is its communication capabilities with other agents in the environment. In the context of the ROBIN project, situational dialogue through voice interaction with a robot was investigated. This paper presents different speech recognition experiments with deep neural networks focusing on producing fast (under 100ms latency from the network itself), while still reliable models. Even though one of the key desired characteristics is low latency, the final deep neural network model achieves state of the art results for recognizing Romanian language, obtaining a 9.91% word error rate (WER), when combined with a language model, thus improving over the previous results while offering at the same time an improved runtime performance. Additionally, we explore two modules for correcting the ASR output (hyphen and capitalization restoration and unknown words correction), targeting the ROBIN project's goals (dialogue in closed micro-worlds). We design a modular architecture based on APIs allowing an integration engine (either in the robot or external) to chain together the available modules as needed. Finally, we test the proposed design by integrating it in the RELATE platform and making the ASR service available to web users by either uploading a file or recording new speech.

研究の動機と目的

• リアルタイムのロボット対話に適した、速く正確なルーマニア語向け自動音声認識システムの開発。
• 認識精度を損なわず、100ms未満の推論遅延を達成すること。
• 最適化された深層ニューラルネットワークアーキテクチャと言語モデルを用いて、先行研究を上回るルーマニア語ASRの性能向上。
• 閉域会話システムにおけるASR出力品質の向上を目的とした、モジュラーな後処理コンponentの設計。
• ROBINのようなロボットプラットフォームに統合可能な、モジュラーかつAPIベースのアーキテクチャにより、ASRパイプラインの外部連携を可能にすること。

提案手法

• 正確性と低遅延推論の両立を最適化するため、ルーマニア語音声データを用いて深層ニューラルネットワーク（DNN）音声モデルを学習する。
• DNN出力に言語モデルを適用し、語誤り率の低減と文脈理解の向上を図る。
• 連符と大文字化の回復、および未知語の補正のための別々のAPIを備えたモジュラーなパイプラインを設計する。
• Webインターフェースを介したファイルアップロードとリアルタイム音声録音を可能にするために、ASRシステムをRELATEプラットフォームに統合する。
• 各処理段階（ASR、後処理）をAPIを通じて呼び出し可能なサービスとして公開する、分離されたアーキテクチャを採用する。
• 閉域マイクロワールドを想定した制御環境下で、エンドツーエンドのシステムを評価する。

実験結果

リサーチクエスチョン

• RQ1 ルーマニア語向けの深層ニューラルネットワークベースのASRシステムは、100ms未満の推論遅延を達成しながら、最先端の性能を実現できるか？
• RQ2 モジュラーな後処理コンponent（連符、大文字化、未知語補正）は、閉域会話システムにおけるASR出力品質の向上にどの程度効果的か？
• RQ3 RELATEのようなプラットフォームへのASRシステムの統合は、ロボット応用のためのリアルタイムでWebアクセス可能な音声認識をどの程度可能にするか？
• RQ4 言語モデルの導入は、ルーマニア語の最終ASR出力における語誤り率にどのような影響を与えるか？
• RQ5 モジュラーかつAPIベースの設計は、ロボットシステムや外部システムへの拡張性および統合性をどの程度向上させるか？

主な発見

• 提案されたDNNベースのASRシステムは、言語モデルを組み合わせることで9.91%の語誤り率を達成し、ルーマニア語音声認識分野で最先端の結果を示した。
• システムは100ms未満の推論遅延を維持しており、インタラクティブなロボットアプリケーションにおけるリアルタイム要件を満たしている。
• モジュラーな後処理パイプラインは、特に制御された会話環境において、ASR出力の読みやすさと正確性を顕著に向上させた。
• ASRサービスをRELATEプラットフォームに統合することで、Webクライアントからのファイルベースおよびリアルタイム音声入力の両方が可能になった。
• APIベースのアーキテクチャにより、処理モジュールの柔軟な組み合わせが可能となり、ロボットや外部会話システムへの動的統合を支援した。
• 結果として、高精度かつ低遅延なルーマニア語ASRが同時に達成可能であることが実証され、社会的支援ロボティクスにおける実用的デプロイメントを可能にした。