[論文レビュー] The Interspeech Zero Resource Speech Challenge 2021: Spoken language modelling.

Ewan Dunbar, Mathieu Bernard+7 more|arXiv (Cornell University)|Apr 29, 2021

Speech Recognition and Synthesis参考文献 21被引用数 2

ひとこと要約

本論文は、テキストなしの60,000時間に及ぶ英語のオーディオブックから成るLibri-lightデータセットを用い、rawな音声から直接言語モデルを学習するという、Interspeech 2021 Zero Resource Speech Challengeを提示する。パイプラインは、表現学習にコントラスト型予測符号化（CPC）を用い、k-means量子化と標準的な言語モデル（BERTまたはLSTM）を組み合わせ、音声的、語彙的、文法的、意味的評価指標において優れた性能を達成したが、文書の教師あり学習は一切使用していない。

ABSTRACT

We present the Zero Resource Speech Challenge 2021, which asks participants to learn a language model directly from audio, without any text or labels. The challenge is based on the Libri-light dataset, which provides up to 60k hours of audio from English audio books without any associated text. We provide a pipeline baseline system consisting on an encoder based on contrastive predictive coding (CPC), a quantizer ($k$-means) and a standard language model (BERT or LSTM). The metrics evaluate the learned representations at the acoustic (ABX discrimination), lexical (spot-the-word), syntactic (acceptability judgment) and semantic levels (similarity judgment). We present an overview of the eight submitted systems from four groups and discuss the main results.

研究の動機と目的

• テキストや発話の音声のみを用いて、ゼロリソースの話言語モデリング手法を開発すること。
• 学習された表現が音声的、語彙的、文法的、意味的レベルの複数の言語的側面にどのように一般化するかを評価すること。
• 60,000時間の英語のオーディオブックを含み、関連するテキストが一切ないLibri-lightデータセット上で、システムをベンチマークすること。
• コントラスト型予測符号化（CPC）、k-means量子化、および標準的な言語モデル（BERTまたはLSTM）を用いたベースラインパイプラインを確立すること。
• 統一された評価フレームワーク上で、4つの研究グループによる多様なシステム設計を比較すること。

提案手法

• raw音声入力から文脈的な表現を学習するために、コントラスト型予測符号化（CPC）エンコーダーが使用される。
• 学習された音声表現を有限なコードブックに量子化するために、k-means量子化器が適用される。
• 離散化されたコードが、次に、系列モデリングのための標準的な言語モデル（BERTまたはLSTM）を学習するために使用される。
• 4つの異なる指標を用いてシステムの評価が行われる：音声的識別性を測るABX、語彙的検出を測るspot-the-word、文法的妥当性を測る受容性判断、意味的類似性を測る類似性判断。
• 公平な比較を可能にするために、ベースラインシステムが実装され、共有されている。

実験結果

リサーチクエスチョン

• RQ1 テキストや発話の音声のみを用いて、言語モデルを効果的に学習できるか？
• RQ2 CPCとk-means量子化から得られる自己教師あり表現は、音声的、語彙的、文法的、意味的レベルの言語的側面にどの程度一般化するか？
• RQ3 量子化された音声コード上で学習された場合、異なるアーキテクチャ（例：BERT対LSTM）の相対的な性能はどのようになるか？
• RQ4 複数の研究グループによる多様なシステム設計は、同じゼロリソース評価プロトコル下でどのように比較されるか？
• RQ5 ゼロリソース学習は、明示的な教師なしでどの程度言語的構造を捉えることができるか？

主な発見

• ベースラインシステムは、すべての4つの評価指標で優れた性能を示し、ゼロリソース言語モデリングの可能性を実証した。
• BERTベースのアーキテクチャを用いたシステムは、意味的および文法的タスクでLSTMベースのモデルを一般に上回った。
• spot-the-wordとABX指標は、学習された表現が音声的および語彙的差異を効果的に捉えていることを示した。
• 提出された8つのシステム間で顕著な性能の差が見られたことから、アーキテクチャの選択とハイパーパramータのチューニングが結果に顕著に影響することがわかった。
• 類似性判断と受容性判断のタスクは、一部のシステムが明示的な言語的教師なしで意味的および文法的判断に一般化できることを示した。