[論文レビュー] Information Retrieval for ZeroSpeech 2021: The Submission by University of Wroclaw

Jan Chorowski, Grzegorz Ciesielski+7 more|arXiv (Cornell University)|Jun 22, 2021

Speech Recognition and Synthesis参考文献 19被引用数 11

ひとこと要約

本論文は、ゼロリソーススピークチャレンジ2021に対する低リソースで情報検索に基づくアプローチを提示する。CPCからの自己教師付き音声表現を、話者に依存しない射影と重心に基づくノイズ除去を適用することで改善し、音素認識（ABX）の性能を向上させる。また、疑似語の発見とword2vecを用いて意味的類似度（sSIMI）を推定し、単純なLSTMを用いて構文（sBLIMP）を評価する。本手法は全4タスクで最先端またはほぼ最先端の結果を達成し、精錬された表現が高計算コストのベースラインシステムとの差を著しく縮小することを示している。

ABSTRACT

We present a number of low-resource approaches to the tasks of the Zero Resource Speech Challenge 2021. We build on the unsupervised representations of speech proposed by the organizers as a baseline, derived from CPC and clustered with the k-means algorithm. We demonstrate that simple methods of refining those representations can narrow the gap, or even improve upon the solutions which use a high computational budget. The results lead to the conclusion that the CPC-derived representations are still too noisy for training language models, but stable enough for simpler forms of pattern matching and retrieval.

研究の動機と目的

• 言語的監視なしに、CPCからの自己教師付き音声表現をゼロリソース音声タスクに適合させる。
• CPC埋め込みにおける話者に起因するばらつきを低減し、音素レベルの認識（ABXタスク）を向上させる。
• 発見された疑似語とword2vec埋め込みを用いて、効果的な情報検索と意味的類似度推定を可能にする。
• 低リソース条件下で、単純なLSTMモデルの構文評価タスク（sBLIMP）における性能を評価する。
• ニューラル記憶と曖昧な検索の相乗効果が、生音声からの辞書発見にどのように寄与するかを調査する。

提案手法

• 話者分類器の核空間に射影するための因子分解線形射影をCPC埋め込みに適用し、話者固有の情報を低減する。
• CPC埋め込みとそのk-meansクラスタ重心の重み付き平均を用いて、局所構造を保持したまま表現をノイズ除去する。
• ユニグラム言語モデルを用いたSentencePieceを用いて、音声を疑似語に分割し、反復的な語彙の最適化を実施する。
• 分割された疑似語上でword2vecモデルを学習し、類似度タスク用の意味的単語埋め込みを生成する。
• 量子化された核空間特徴を用いて単純なLSTM言語モデルを学習し、sBLIMP構文評価タスクに用いる。
• 編集距離ベースの照合とword2vec埋め込みを組み合わせ、検索処理における未知語彙の疑似語シーケンスを扱う。

実験結果

リサーチクエスチョン

• RQ1 CPC埋め込みの話者に依存しない射影は、ゼロリソース音素認識におけるABX性能を向上させることができるか？
• RQ2 CPC埋め込みの重心に基づくノイズ除去は、発音、意味的、構文的タスクの下流性能を向上させるか？
• RQ3 無教師による分割とword2vec学習で発見された疑似語は、音声語の類似度に有効な意味的表現を提供できるか？
• RQ4 低リソースで量子化された特徴を用いて学習された単純なLSTMモデルは、sBLIMPタスクにおける構文評価でどの程度有効か？
• RQ5 ニューラル記憶と曖昧な検索のハイブリッドアプローチは、生音声からの辞書発見を改善できるか？

主な発見

• 448次元の核空間射影と重心平均を組み合わせた結果、ABXの誤差率は最小で2.93%（内部）および3.57%（外部）を達成し、ベースラインを上回った。
• LibriSpeechテストセットではsSIMIタスクで10.20%の相関を達成し、LibriSpeechサブカテゴリで第1位となった。
• sBLIMPタスクでは、LSTMモデルが開発セットおよびテストセットで53%の正答率を達成し、ベースラインをわずかに上回り、ランダム重み（52.9%）を上回った。
• 核空間射影を適用した後、音素分類の正答率は76.86%に低下した。これは、残りの次元に依然として話者情報が残存していることを示している。
• トークン化されたLibriSpeech発話文にword2vecモデルを学習させた結果、sSIMI合成セットで16.8%のスコアを達成し、合成部分においてRoBERTaのトップライン（32.28%）を上回った。
• 結果から、CPCから得られる表現は言語モデルにはあまり適さないが、パターンマッチングと検索には安定しており、特にノイズ除去とクラスタリングで精錬された場合に顕著であることが示唆された。