[論文レビュー] A Hierarchical Subspace Model for Language-Attuned Acoustic Unit Discovery

Bolaji Yusuf, Lucas Ondel+3 more|arXiv (Cornell University)|Nov 4, 2020

Speech Recognition and Synthesis参考文献 33被引用数 5

ひとこと要約

本論文は、字幕付き言語から言語に依存しないハイパーサブスペースを転送することで、言語固有の音声単位を学習する階層的サブスペースモデルを提案する。低次元サブスペース内で言語とユニット埋め込みを同時に推論することにより、TIMIT、Mboshi、Yorubaの各データセットで最先端の性能を達成し、クラスタリング品質（NMI）とセグメンテーション精度（Fスコア）の両面で従来手法を上回った。

ABSTRACT

In this work, we propose a hierarchical subspace model for acoustic unit discovery. In this approach, we frame the task as one of learning embeddings on a low-dimensional phonetic subspace, and simultaneously specify the subspace itself as an embedding on a hyper-subspace. We train the hyper-subspace on a set of transcribed languages and transfer it to the target language. In the target language, we infer both the language and unit embeddings in an unsupervised manner, and in so doing, we simultaneously learn a subspace of units specific to that language and the units that dwell on it. We conduct our experiments on TIMIT and two low-resource languages: Mboshi and Yoruba. Results show that our model outperforms major acoustic unit discovery techniques, both in terms of clustering quality and segmentation accuracy.

研究の動機と目的

• 転写データのない低リソース言語における教師なし音声ユニット発見の課題に対処すること。
• モデルのインダクティブバイアスに事前音声知識を組み込むことで、クラスタリングおよびセグメンテーション性能を向上させること。
• 言語とユニット埋め込みを学習する階層的構造を通じて、音声サブスペースの言語固有の適応を可能にすること。
• 従来の非階層的およびニューラルネットワークベースのアプローチを上回る性能を発揮する音声ユニット発見タスクにおける性能向上を図ること。

提案手法

• モデルは、音声ユニットパラメータが低次元音声サブスペースに制約される階層的構造を採用し、そのサブスペース自体は、字幕付き言語から学習された言語に依存しないハイパーサブスペースによってパラメータ化される。
• ハイパーサブスペースは、サブスペーステンプレートとしての行列の集合としてモデル化され、ターゲット言語のサブスペースは、これらのテンプレートを組み合わせる学習済み埋め込みベクトルによって構成される。
• ユニットパラメータは、e^u（ユニット埋め込み）とWおよびb（字幕付き言語から固定された）を用いた微分可能関数f(·)をW·e^u + bに適用することで生成される。
• ユニット割り当てにディリクレ過程事前分布を用いたベイジアン非パrametricアプローチを採用し、未知の数のユニットが発見可能である。
• ハイパーサブスペースは複数の字幕付き言語で訓練され、ターゲット言語に転送され、言語とユニット埋め込みが教師なしで同時に推論される。
• HMMは、サブスペースから導出される状態固有パラメータを用い、学習されたユニットが妥当な音声ユニットであることを保証する。

実験結果

リサーチクエスチョン

• RQ1 字幕付き言語から低リソースターゲット言語に音声知識を転送することで、階層的サブスペースモデルが音声ユニット発見を改善できるか？
• RQ2 共通で制約されたサブスペース内で言語とユニット埋め込みを同時に学習することは、非階層的ベースラインと比較して、より優れたクラスタリングおよびセグメンテーション性能をもたらすか？
• RQ3 VQ-wav2vec や ResDAVEnet-VQ といった強力なニューラルネットワークベースの手法と比較して、本手法はNMIおよびFスコアの観点でどのように差をつけるか？
• RQ4 ターゲット言語でサブスペースパラメータをファインチューニングするのでは十分か、それとも階層的構造が顕著な利点を提供するか？
• RQ5 明示的な言語ラベルなしに、同じ言語のサブセットが暗黙的にクラスタリングされるかを確認することで、効果的な言語埋め込み学習が可能か？

主な発見

• H-SHMMモデルは、TIMITコーパスで最高のNMI（40.04 ± 0.51）とFスコア（76.60 ± 0.54）を達成し、SHMMベースラインおよびすべてのニューラルネットワークベースのモデルを上回った。
• Mboshiでは、H-SHMMはNMI 41.07 ± 1.09、Fスコア 59.15 ± 1.51を達成し、SHMMベースライン（NMI 38.38 ± 0.97、Fスコア 59.50 ± 0.78）を顕著に上回った。
• Yorubaでは、H-SHMMはNMI 40.06 ± 0.11、Fスコア 66.95 ± 0.36を達成し、SHMMベースライン（NMI 38.99 ± 0.08、Fスコア 64.46 ± 0.51）を上回った。
• ターゲット言語でSHMMのサブスペースをファインチューニングしたSHMM+finetuneは、SHMMおよびH-SHMMの両方よりも性能が悪く、階層的構造が性能に不可欠であることを示した。
• サブスペース次元を300に引き上げたSHMM+300dは、100次元ベースラインと比較して顕著な改善を示さず、100Dハイパーサブスペースが十分であり、パラメータスケーリングよりも階層的設計がより効果的であることを示唆した。
• 言語埋め込みの可視化により、同じ言語からのサブセットが低内言語分散で収束することが確認され、明示的なラベルなしに意味的で言語固有の表現を学習できることを裏付けた。