[論文レビュー] An Unsupervised Autoregressive Model for Speech Representation Learning

Yu-An Chung, Wei-Ning Hsu+2 more|arXiv (Cornell University)|Apr 5, 2019

Speech Recognition and Synthesis参考文献 34被引用数 46

ひとこと要約

本論文は、Autoregressive Predictive Coding (APC) を紹介する。APC はログ Mel スペクトログラムから一般的な音声表現を学習する無監督の自己回帰モデルで、ラベルなしで電話分類と話者検証の性能を改善する。

ABSTRACT

This paper proposes a novel unsupervised autoregressive neural model for learning generic speech representations. In contrast to other speech representation learning methods that aim to remove noise or speaker variabilities, ours is designed to preserve information for a wide range of downstream tasks. In addition, the proposed model does not require any phonetic or word boundary labels, allowing the model to benefit from large quantities of unlabeled data. Speech representations learned by our model significantly improve performance on both phone classification and speaker verification over the surface features and other supervised and unsupervised approaches. Further analysis shows that different levels of speech information are captured by our model at different layers. In particular, the lower layers tend to be more discriminative for speakers, while the upper layers provide more phonetic content.

研究の動機と目的

• 音韻境界やラベルを伴わない、一般的でタスクに依存しない音声表現を学習する動機付け。
• 将来のスペクトルフレームを予測し、下流タスクの情報を保持する自己回帰モデルの開発。
• APC 表現が、データセットを横断した電話分類と話者検証で線形分類器の高い性能を可能にすることを示す。

提案手法

• 過去のフレームから未来のフレームを予測するために、残差接続を持つ多層の単方向 LSTM を用いた Autoregressive Predictive Coding (APC) を提案する。
• 入力と予測未来フレームとの間の L1 損失を最小化するように学習し、時間シフト因子が全体構造の発見を促す。
• 異なる負サンプリングと先読みに基づく構成の下で、どの情報が捕捉されるか（音素情報 vs 話者情報）を分析して、APC を CPC と比較する。
• 入力として 80 次元の対数 Mel特徴を用い、下流タスクのために最後の LSTM 層から表現を抽出する（必要に応じて前の層も使用）。

実験結果

リサーチクエスチョン

• RQ1 言語的ラベルなしで、データセット間およびタスク間で転送可能な音声表現を無監督の自己回帰モデルが学習できるか？
• RQ2 異なる APC 層でどの情報（音素情報 vs 話者情報）が捕捉され、先読みの予測ステップがそれにどのように影響するか。
• RQ3 APC 表現は、CPC および表層特徴と比較して、下流の電話分類および話者検証を改善するか？
• RQ4 表現の深さと層選択が話者検証の性能にどのように影響するか。

主な発見

• APC は電話分類で CPC の派生形および表層特徴を上回り、線形分類器がアクセス可能なより豊かな音素情報を示している。
• より深い APC モデルは電話分類性能を向上させ、数ステップ先を予測するところに最適解がある。
• APC 表現は i-vector および最良 CPC のベースラインを上回り、特に話者情報をより多く保持する下位の APC 層を使用した場合に顕著である。
• 下位の APC 層はより多くの話者情報を含み、上位層はより多くの音素内容を捉える。これは言語モデルと類似した層間に情報が分布していることを示唆する。
• このアプローチは LibriSpeech で学習し、WSJ および TIMIT で評価することで、ドメインシフトに対する頑健性を示し、転移性を実証している。