[論文レビュー] Independent and automatic evaluation of acoustic-to-articulatory inversion models

Maud Parrot, Juliette Millet+1 more|arXiv (Cornell University)|Nov 15, 2019

Speech Recognition and Synthesis参考文献 21被引用数 5

ひとこと要約

本論文は、参照アーティキュレーションデータに依存せず、話者に依存しないモデルの一般化能力や耐障害性を評価可能な、独立的かつ自動的なABX音声認識評価法を提案する。この手法は、標準的な指標とは相補的なインサイトを示しており、データセットの統合が言語的に関連するアーティキュレーション情報の劣化を引き起こす可能性があることを示している。これは、RMSE や PCC のわずかな向上とは対照的である。

ABSTRACT

Reconstruction of articulatory trajectories from the acoustic speech signal has been proposed for improving speech recognition and text-to-speech synthesis. However, to be useful in these settings, articulatory reconstruction must be speaker independent. Furthermore, as most research focuses on single, small datasets with few speakers, robust articulatory reconstrucion could profit from combining datasets. Standard evaluation measures such as root mean square error and Pearson correlation are inappropriate for evaluating the speaker-independence of models or the usefulness of combining datasets. We present a new evaluation for articulatory reconstruction which is independent of the articulatory data set used for training: the phone discrimination ABX task. We use the ABX measure to evaluate a Bi-LSTM based model trained on 3 datasets (14 speakers), and show that it gives information complementary to the standard measures, and enables us to evaluate the effects of dataset merging, as well as the speaker independence of the model.

研究の動機と目的

• 音声からアーティキュレーションへの逆問題モデルにおける話者に依存しない評価指標の不足を解消すること。
• RMSE や PCC といった標準的指標の限界を克服すること。これらの指標は、話者固有のアーティキュレーション詳細を捉えていないモデルを懲罰的に評価する。
• 参照アーティキュレーション軌跡や学習データに依存しない評価手法を開発し、異なるデータセット間での公平な比較を可能にすること。
• 複数のデータセットを統合することによるモデルの一般化能力および音素識別能力への影響を評価すること。
• モデルが音素の対比を保持する能力を反映する、自動的かつスケーラブルな評価を提供すること。

提案手法

• 300ユニットの双方向層、2つの300ユニットの全結合層、および平滑化された予測軌跡を実現するための畳み込み型ローパスフィルタを備えたバイリサルネットワーク（bi-LSTM）アーキテクチャを採用する。
• スケールの違いを補正するため、RMSE と PCC を組み合わせたハイブリッド損失関数を用い、重み係数 β=1000 を設定する。
• 予測アーティキュレーション軌跡の滑らかさを強制するために、ハニング窓を適用したシンク関数型フィルタ（sincフィルタ）を畳み込み型ローパスフィルタとして適用する。
• 動的時間ワープィング（DTW）とコサイン距離を用いてシーケンスを整列し、識別可能性スコアを計算する、ABX音声識別タスクを採用する。
• 外部の音声のみのコーパスを用いてモデルを評価し、ABXスコアを用いて話者間での音素対比の保持度を測定する。
• 話者固有および話者に依存しない学習設定、および単一コーパスおよび複数コーパス学習構成の両方で結果を比較する。

実験結果

リサーチクエスチョン

• RQ1 提案されたABX評価は、音声からアーティキュレーションへの逆問題モデルにおける話者に依存しない性能を効果的に測定できるか？
• RQ2 複数のデータセットを統合することは、話者に依存しないモデルの音素識別能力にどのように影響するか？
• RQ3 標準的再構成指標（RMSE、PCC）とアーティキュレーション逆問題モデルにおける音素識別性の相関関係はどの程度か？
• RQ4 ABX評価は、標準的指標が見逃す言語的関連アーティキュレーション情報の改善または劣化を検出できるか？
• RQ5 複数のコーパスで学習させることで、モデルの音素的に異なるアーティキュレーション軌跡の再構成能力が向上するか、劣化するか？

主な発見

• 話者固有の学習から話者に依存しない学習に切り替えた場合、ABXスコアの低下は最小限に抑えられ、話者に依存しないモデルが言語的に関連する情報を保持していることが示された。
• EMA–IEEEコーパスでは、話者に依存しないモデルが話者固有の学習よりもABXスコアを向上させた。これは、再構成精度が低下しても一般化能力が向上している可能性を示唆している。
• 複数コーパス学習では、単一コーパス学習と比較してABXスコアがわずかに悪化（19.7 vs. 18.9）した。これは、データセットの統合が音素識別能力に悪影響を及える可能性があることを示している。
• 一方で、RMSE と PCC は複数コーパス学習でわずかに向上しており、再構成精度と音素識別性の間には乖離が生じていることが明らかになった。
• ABX評価は、再構成指標の向上が、特定のコーパス固有要因（例：コイルの配置、音声チャネル）のより良いモデリングに起因する可能性があることを検出できた。
• ABX指標は、特に話者に依存しないモデルにおける音素情報の保持に関する、従来の指標では捉えきれない補足的で実用的なインサイトを提供する。