[論文レビュー] Audio Data Augmentation for Acoustic-to-articulatory Speech Inversion using Bidirectional Gated RNNs

Yashish M. Siriwardena, Ahmed Adel Attia+2 more|arXiv (Cornell University)|May 25, 2022

Speech Recognition and Synthesis被引用数 5

ひとこと要約

本稿では、メル周波数 cepstral コefficients (MFCCs) を入力とし、6つの声道変数 (TVs) を出力とする音声の音声的特徴から声道運動を推定するための双方向ゲート付き再帰的ニューラルネットワーク (BiGRNN) を提案する。音声データ拡張、特に背景ノイズや音楽を用いた手法が、クリーンな音声およびノイズ混在音声の両方の条件下で性能を向上させることを示し、先行のノイズ耐性ベースラインより相対的に5%の向上（0.7959 の PPMC）を達成した。さらに、発話者適応により6%の追加向上を達成した。

ABSTRACT

Data augmentation has proven to be a promising prospect in improving the performance of deep learning models by adding variability to training data. In previous work with developing a noise robust acoustic-to-articulatory speech inversion system, we have shown the importance of noise augmentation to improve the performance of speech inversion in noisy speech. In this work, we compare and contrast different ways of doing data augmentation and show how this technique improves the performance of articulatory speech inversion not only on noisy speech, but also on clean speech data. We also propose a Bidirectional Gated Recurrent Neural Network as the speech inversion system instead of the previously used feed forward neural network. The inversion system uses mel-frequency cepstral coefficients (MFCCs) as the input acoustic features and six vocal tract-variables (TVs) as the output articulatory features. The Performance of the system was measured by computing the correlation between estimated and actual TVs on the U. Wisc. X-ray Microbeam database. The proposed speech inversion system shows a 5% relative improvement in correlation over the baseline noise robust system for clean speech data. The pre-trained model, when adapted to each unseen speaker in the test set, improves the average correlation by another 6%.

研究の動機と目的

• データ拡張を用いて、クリーンおよびノイズ混在音声データの両方において、音声的特徴から声道運動を推定するための音声逆問題（SI）システムの性能を向上させること。
• 従来の順方向ニューラルネットワークに代えて、時間的ダイナミクスをよりよくモデル化できる文脈に配慮した BiGRNN アーキテクチャを採用することで、アーティキュレーション運動の時間的依存性を改善すること。
• データ拡張が一般化性能を向上させること、特に未学習の発話者に対して耐性を高め、クリーンデータ上の性能を向上させることを評価すること。
• 個々の発話者データで微調整された事前学習済みモデルを用いた発話者適応の有効性を調査すること。
• XRMB データセット上での SI 性能について、BiLSTM や CNN-BiLSTM といった既存のアーキテクチャと比較して、提案された BiGRNN モデルの性能を評価すること。

提案手法

• MFCC 特徴量の系列的依存関係をモデル化し、6つの声道変数 (TVs) を予測するために、双方向ゲート付き再帰的ニューラルネットワーク (BiGRNN) を採用した。
• 時間歪み、追加ノイズ、音楽背景を用いたデータ拡張の3つの手法を適用し、そのうち音楽背景拡張が最も優れた結果をもたらした。
• クリーン音声および拡張済みデータの両方でモデルを学習させ、さまざまな音声状況下での耐性および一般化性能を向上させた。
• 発話者適応の出発点として、事前学習済みの BiGRNN モデルを用い、未学習発話者の少数のデータで微調整した。
• 限られたデータでの学習を安定化させるために、早期停止法と学習率スケジューリングを適用し、初期学習率を低く設定し、バッチサイズも小さくした。
• Wisconsin X-ray マイクロビーム (XRMB) データベース上でのモデル性能を、推定された TVs と実際の TVs 間のピアソン積動差相関 (PPMC) を用いて評価した。

実験結果

リサーチクエスチョン

• RQ1 音声データ拡張は、ノイズ混在音声の性能向上に加え、クリーンな音声データ上でも、音声逆問題モデルの性能向上をもたらすか？
• RQ2 BiGRNN アーキテクチャは、従来の順方向ニューラルネットワークに比べ、音声特徴量からアーティキュレーション軌跡を予測する際に優れているか？
• RQ3 限られたターゲット発話者データ上で微調整された事前学習済み BiGRNN モデルは、どの程度向上するか？
• RQ4 時間歪み、追加ノイズ、音楽背景のうち、どのデータ拡張戦略が、最も耐性があり、正確な SI モデルを生成するか？
• RQ5 BiLSTM や CNN-BiLSTM といった既存のアーキテクチャと比較して、提案された BiGRNN モデルの TV 予測精度はどの程度優れているか？

主な発見

• 提案された BiGRNN モデルは、クリーン音声データ上での平均 PPMC が 0.7959 に達し、先行のノイズ耐性ベースラインより相対的に 5% の向上を達成した。これは、データ拡張がクリーンな状況下でも性能向上に寄与することを示している。
• 最も優れた性能を示したモデルは、背景音楽とノイズを用いた音声データ拡張で学習されたもので、さまざまな音声状況下での一般化性能が顕著に向上した。
• 発話者適応後、平均 PPMC スコアは、事前学習済みモデルの 0.7942 から、発話者適応済みモデルの 0.8506 に上昇し、未学習発話者に対する顕著な性能向上が確認された。
• JW31 などの個々の発話者では、発話者適応済みモデルが PPMC 0.9106 を達成し、一般化モデルと比較して明確な視覚的および定量的改善が確認された。
• XRMB データセット上では、データ拡張を適用した場合に、BiGRNN が BiLSTM や CNN-BiLSTM モデルを上回る PPMC を達成した。
• 発話者適応による向上はすべての発話者に一様ではなく、一部の発話者（例：JW61）では最小限の向上が観察された。これは、発話者固有のアーティキュレーション特性のばらつきを示唆している。