[論文レビュー] Tools and resources for Romanian text-to-speech and speech-to-text applications

Tiberiu Boroş, Ștefan Daniel Dumitrescu+1 more|arXiv (Cornell University)|Feb 15, 2018

Natural Language Processing Techniques参考文献 10被引用数 7

ひとこと要約

本稿では、低リソース環境を想定したスケーラブルでマルチリンガルなNLPおよび音声認識（TTS）ツールキットを提示する。新たに整備されたルーマニア語音声コーパスを用い、意思決定木、線形モデル、双方向LSTMを統合したNLP処理を実施。軽量な音声認識システムにおいて、89.52%の文字単位の正答率を達成し、ASRおよびTTS開発におけるコーパスの有効性を示した。

ABSTRACT

In this paper we introduce a set of resources and tools aimed at providing support for natural language processing, text-to-speech synthesis and speech recognition for Romanian. While the tools are general purpose and can be used for any language (we successfully trained our system for more than 50 languages and participated in the Universal Dependencies Shared Task), the resources are only relevant for Romanian language processing.

研究の動機と目的

• 低リソース環境、特にモバイルおよび埋め込みシステムを想定した、スケーラブルで軽量なNLPおよびTTSツールキットの開発。
• Wikipedia、オーディオブック、およびルーマニア匿名音声コーパス（RASC）を統合し、発音およびトランスクリプションのアラインメントを含む、包括的かつ高品質なルーマニア語音声コーパスの構築。
• 同じフレームワークを用いて50語以上で言語を訓練可能となるように、マルチリンガルNLPおよびTTSの支援。
• 会話形式の発話文を追加することで、会話的応用における抑揚（プロソディ）を向上させるために、TTS品質の向上。
• NLPおよびTTS用の事前学習済みモデルのプレインストールと公開により、ルーマニア語NLPおよび音声技術への参入障壁を低減。

提案手法

• MLPLAアーキテクチャは、プラグアンドプレイ設計を採用し、3つのインターフェース（データ入力プロセッサ、ベースプロセッサ、出力プロセッサ）を備え、モジュラーなNLPパイプライン構築を可能にする。
• 3つの機械学習アプローチをサポート：意思決定木（低メモリ、対数的計算量）、線形モデル（高レベルの特徴工学、線形計算量）、双方向LSTM（特徴の自動学習、高計算負荷）。
• 文字単位の音声認識システムは、メル一般化ケプストラム係数、2層の双方向LSTM（800ユニット）、および接続主義的時系列分類（CTC）損失関数を用い、エンドツーエンド学習を実現。
• 音声コーパスは、Wikipedia、オーディオブック、およびルーマニア匿名音声コーパス（RASC）のアラインド音声とテキストを含み、発音およびトランスクリプションのアノテーションを備える。
• 制限付き音声への間接的アクセスは、COROLAオーラルコーパスクエリプラットフォーム（OCQP）を介して実現。アラインドデータをブリッジとして利用。
• NLPおよびTTSモデルのための事前学習と微調整戦略を提案。Universal Dependencies言語用の事前学習済みモデルの公開を計画。

実験結果

リサーチクエスチョン

• RQ1 低リソース環境およびモバイル環境に、軽量でモジュラーなNLPおよびTTSツールキットを複数言語で効果的に展開できるか？
• RQ2 新たに作成されたルーマニア語音声コーパスは、エンドツーエンド自動音声認識システムの学習にどの程度有効か？
• RQ3 コンactで効率的なアーキテクチャを用いても、低リソース言語（ルーマニア語）において文字単位のASRシステムが高精度を達成できるか？
• RQ4 現在のTTSコーパスは、会話形式の相互作用における自然なプロソディをどの程度サポートしているか。また、どのように改善できるか？
• RQ5 事前学習済みモデルは、低リソース環境におけるNLPおよびTTSシステムの学習負荷にどのような影響を与えるか？

主な発見

• 文字単位の音声認識システムは、全訓練データを用いて4エポックの学習で89.52%の正答率を達成し、ASR学習に向けたコーパスの有効性を示した。
• NLPツールキットは50語以上の言語での学習を成功裏に実行し、マルチリンガルスケーラビリティおよび汎用的有用性を確認した。
• 音声アーティファクト、地方訛り、外国語の単語に配慮した注意深くアノテートされたデータを含むことで、トランスクリプションのロバスト性が向上した。
• TTSシステムは、現在のコーパスに短い会話形式の発話文が不足しているため、会話文脈でのプロソディが劣悪であることが判明し、主な制限要因となった。
• 特に低リソース言語向けに、再学習の必要性を低減するため、事前学習済みモデルの公開を計画している。
• Android 5および6でのデプロイが可能であることを確認し、リアルタイムで低消費電力なアプリケーションに適した効率性と適合性を裏付けた。