[論文レビュー] An Empirical Evaluation of Zero Resource Acoustic Unit Discovery

Chunxi Liu, Jinyi Yang+8 more|arXiv (Cornell University)|Feb 5, 2017

Speech Recognition and Synthesis参考文献 20被引用数 4

ひとこと要約

本稿では、自己教師あり線形判別分析（LDA）と時定数ニューラルネットワーク（TDNN）からの多言語ボトルネック（BN）特徴を組み合わせることで、教師なし音声表現学習を向上させる改善された音声単位発見（AUD）フレームワークを提案する。この手法は、同一・異種語対識別や文書分類といった下流タスクで顕著な向上を示し、発話音素トランスクリプトが入手不可である状況において、音声単位発見の有効性を、語のペアやトピックラベルといった代替のゼロリソース対応データを用いて信頼性高く評価可能であることを示している。

ABSTRACT

Acoustic unit discovery (AUD) is a process of automatically identifying a categorical acoustic unit inventory from speech and producing corresponding acoustic unit tokenizations. AUD provides an important avenue for unsupervised acoustic model training in a zero resource setting where expert-provided linguistic knowledge and transcribed speech are unavailable. Therefore, to further facilitate zero-resource AUD process, in this paper, we demonstrate acoustic feature representations can be significantly improved by (i) performing linear discriminant analysis (LDA) in an unsupervised self-trained fashion, and (ii) leveraging resources of other languages through building a multilingual bottleneck (BN) feature extractor to give effective cross-lingual generalization. Moreover, we perform comprehensive evaluations of AUD efficacy on multiple downstream speech applications, and their correlated performance suggests that AUD evaluations are feasible using different alternative language resources when only a subset of these evaluation resources can be available in typical zero resource applications.

研究の動機と目的

• 音声トランスクリプトや言語学的知識が一切存在しないゼロリソース環境における音声単位発見（AUD）の改善を目的とする。
• 最初の段階で得られたAUDのトークン化結果を仮ラベルとして用い、自己教師あり線形判別分析（LDA）を適用して音声特徴表現の判別能を向上させることを目的とする。
• TDNNから得られる多言語ボトルネック（BN）特徴を活用し、AUDにおける多言語間一般化性能を向上させることを目的とする。
• 音声表記の音素トランスクリプトが入手不可である状況において、語のペアやトピックラベルといった代替評価リソースを用いてAUD性能を検証することを目的とする。
• 内在的AUD指標（例：NMI）と実際の音声応用タスクにおける外在的性能の相関関係を示し、ゼロリソース環境における実用的評価を可能にすることを目的とする。

提案手法

• AUDから得られたトークン化結果を仮ラベルとして用い、自己教師ありLDAを適用することで音声特徴の判別能を向上させる。
• 多言語の時定数ニューラルネットワーク（TDNN）を訓練し、言語に依存しないボトルネック（BN）特徴を抽出することで多言語間一般化を向上させる。
• 発見されたHMM状態単位ごとに後方確率マップ（posterogram）特徴を生成し、下流タスク用の音声単位表現を構築する。
• 同一・異種語対識別タスクにおいて、後方確率マップを用いたDTWスコアリングを実施し、平均適合度（AP）で性能を測定する。
• 発見された音声単位の3-gramシーケンスを用いて文書表現を構築し、TF-IDF重み付けとL2正規化を適用して分類タスクに用いる。
• 教師なし音声単位シーケンスを用いて、文書分類（10分割交差検証）およびクラスタリング（純度とB-Cubed F1）を評価する。

実験結果

リサーチクエスチョン

• RQ1 真のラベルが一切存在しない状況において、自己教師ありLDAは音声単位発見の性能を向上させ得るか？
• RQ2 多言語ボトルネック（BN）特徴抽出は、ゼロリソース環境下でのAUDにおける多言語間一般化性能を向上させるか？
• RQ3 音素トランスクリプトが入手不可である状況において、同一・異種語対識別や文書分類といった下流音声応用タスクが、内在的AUD評価の信頼できる代理指標として機能するか？
• RQ4 外在的タスクの性能向上（例：AP、分類精度）が、NMIのような内在的AUD指標とどの程度相関しているか？
• RQ5 音声単位の後方確率と3-gram表現は、ゼロリソース環境下で文書分類やクラスタリングといった判別的タスクを効果的に支援できるか？

主な発見

• 自己教師ありLDAと多言語BN特徴を組み合わせることで、最高の全体的AUD性能が達成され、両者の相補性が示された。
• AUDの後方確率マップを用いた同一・異種語対識別タスクでは、開発データ上で平均適合度（AP）が0.247を達成し、生のMFCC特徴（AP 0.208）を顕著に上回った。
• HMM状態レベルの600次元後方確率特徴を用いることでAPが0.267に上昇し、より高解像度の表現が識別性能を向上させることを示した。
• LDAおよびBNを強化した特徴を用いたAUDベースの文書分類では、73%の精度を達成し、トランスクリプトデータなしでも有効な表現学習が可能であることを示した。
• 開発データ（NMI 0.571）から評価データ（NMI 0.558）に移行してもNMIがわずかに低下するにとどまり、学習された音声単位の強い一般化性能が裏付けられた。
• 文書クラスタリングでは開発データ上でわずかな向上が見られたが、評価データではその傾向が確認されず、AUDを用いた教師なしトピックモデリングに課題があることが示唆された。