[論文レビュー] The Zero Resource Speech Challenge 2020: Discovering discrete subword and word units

Ewan Dunbar, Julien Karadayi+7 more|arXiv (Cornell University)|Oct 12, 2020

Speech Recognition and Synthesis参考文献 28被引用数 19

ひとこと要約

本論文は、2020年ゼロリソーススピークスチャレンジを提示し、テキスト的監視なしに生音声から離散的サブワードおよび語彙単位を発見することによって、自己教師付き音声表現学習を前進させる。音声合成の品質とスプoken term discovery（語彙単位検出）において顕著な向上を達成し、トップシステムは低ビットレートでも音素レベルの単位品質に近づいており、ラベルなしで人間のような言語習得に近い進歩を示している。

ABSTRACT

We present the Zero Resource Speech Challenge 2020, which aims at learning speech representations from raw audio signals without any labels. It combines the data sets and metrics from two previous benchmarks (2017 and 2019) and features two tasks which tap into two levels of speech representation. The first task is to discover low bit-rate subword representations that optimize the quality of speech synthesis; the second one is to discover word-like units from unsegmented raw speech. We present the results of the twenty submitted models and discuss the implications of the main findings for unsupervised speech learning.

研究の動機と目的

• テキストリソースを一切用いずに、生音声から離散的サブワードおよび語彙単位を発見する自己教師付き音声表現学習手法の開発を目的とする。
• ゴール音素および語の表記を用いて、発見された単位の品質を音声合成性能、単位ビットレート、言語的正確性の観点から評価することを目的とする。
• 音響単位発見およびスプoken term discovery（語彙単位検出）に焦点を当てた既存のベンチマークを統合・再開することで、ゼロリソース音声技術分野の最先端を前進させることを目的とする。
• 生音声から純粋に学習可能な高品質で低ビットレートの離散的単位（音素や語に類似）が、人間の言語習得を模倣する形で得られるかどうかを検証することを目的とする。
• 自己教師付き設定における単位品質、ビットレート、カバレッジ、セグメンテーション正確性のトレードオフを評価することを目的とする。

提案手法

• 参加者は、英語およびインドネシア語のラベルなし生音声を用いてモデルを学習し、3つのデータセット（Train Voice：ボイスクラーニング用、Train Unit Discovery：発話者独立単位用、Test：評価用）を用いた。
• 音声合成のため、モデルは生音声を離散的単位（疑似テキスト）に符号化し、その後ボコーダーを用いて波形に復元した。合成品質はCER、MOS、ボイス類似性の観点での人間評価により評価された。
• 単位品質はABX誤差率で測定され、ビットレートはテストセットに現れる異なる単位ベクトルのエントロピーから計算された。
• スプoken term discovery（語彙単位検出）のため、クラスタリングおよび動的時間ワープングを用いて連続音声内に語に類似する単位を検出。性能はNED（正規化編集距離）および境界検出のFスコアで評価された。
• 本チャレンジでは標準化された指標とベースラインを採用した：LSHベースのペアマッチングベースラインと、ユニグラム文法およびテキスト表記を用いた教師ありトップライン。
• すべての評価はゴール音素および語の表記を用い、キャッチトライアルおよび人間評価による厳密な品質管理が行われた。

実験結果

リサーチクエスチョン

• RQ1 生音声のみから、テキスト的監視なしに高品質で低ビットレートの音声合成を可能にする離散的サブワード単位を発見できるか？
• RQ2 自己教師付きモデルは、区切りのない音声内にどの程度語に類似する単位を発見できるか。また、カバレッジおよび正確性の観点で、教師ありベースラインと比較してどうなるか？
• RQ3 自己教師付き音声表現学習において、単位品質、ビットレート、合成自然さの間にはどのようなトレードオフがあるか？
• RQ4 クラスタリングベースのアプローチは、従来の手法と比較して、マッチング品質とカバレッジのバランスをどのように改善できるか？
• RQ5 離散オートエンコーダーに基づくエンドツーエンドモデルは、従来のパイプラインアプローチと比較して、単位発見および音声合成の両面で優れているか？

主な発見

• トップシステムは、前年比でABX誤差率を20%低減し、同等のビットレートでも単位品質が向上したことを示した。
• 最高のシステムは、平均評価スコア（MOS）が4.0以上、文字誤り率（CER）が15%未満を達成し、高い理解性と自然さを示した。
• 自己表現型オートエンコーダーを用いたシステムは、スプoken term discovery（語彙単位検出）において、前年の最先端水準に相当する境界Fスコアを達成し、優れたセグメンテーション性能を示した。
• 確率的動的時間ワープングを用いたR1およびR2システムは、カバレッジとマッチング品質のトレードオフを改善し、R1は高いカバレッジ、R2は低いNED（正規化編集距離）を達成した。
• 進展はあったが、最高の自己教師付き離散コードは、音素表現と比べて1桁分詳細であり、完全な音素レベルの抽象化には到達していないことが示された。
• 教師ありトップラインシステムは、テキスト的監視があれば低ビットレートで高品質な離散コードが得られることを示し、自己教師付き設定で同様の成果を得るのがいかに困難であるかを浮き彫りにした。