[論文レビュー] Analyzing Hidden Representations in End-to-End Automatic Speech Recognition Systems

Yonatan Belinkov, James Glass|arXiv (Cornell University)|Sep 13, 2017

Speech Recognition and Synthesis参考文献 27被引用数 35

ひとこと要約

この論文は、接続主義的時系列分類（CTC）で訓練された畳み込みニューラルネットワークと再帰ニューラルネットワークを組み合わせた深層エンドツーエンド自動音声認識（ASR）モデルにおける隠れ表現を分析している。異なる層からの特徴量を用いてフレームレベルの音素分類器をファインチューニングすることで、下流層——特に最初の畳み込み層と初期の再帰層——が最も音声的意味を持つ表現を捉えていることが判明した。一方、より深い層では性能が低下しており、音声情報がネットワークの深さにわたり一貫して保持されないことが示唆された。

ABSTRACT

Neural models have become ubiquitous in automatic speech recognition systems. While neural networks are typically used as acoustic models in more complex systems, recent studies have explored end-to-end speech recognition systems based on neural networks, which can be trained to directly predict text from input acoustic features. Although such systems are conceptually elegant and simpler than traditional systems, it is less obvious how to interpret the trained models. In this work, we analyze the speech representations learned by a deep end-to-end model that is based on convolutional and recurrent layers, and trained with a connectionist temporal classification (CTC) loss. We use a pre-trained model to generate frame-level features which are given to a classifier that is trained on frame classification into phones. We evaluate representations from different layers of the deep model and compare their quality for predicting phone labels. Our experiments shed light on important aspects of the end-to-end model such as layer depth, model complexity, and other design choices.

研究の動機と目的

• エンドツーエンドASRモデルが明示的な音声的監視なしに、音声的に意味のある表現を暗黙的に学習するかどうかを調査すること。
• 深層エンドツーエンドASRモデルの異なる層における表現品質の変化を評価すること。
• モデルの複雑さや深さが、より良い音声的表現学習に相関するかどうかを特定すること。
• ASR性能と隠れ層で学習された表現の品質との関係を評価すること。
• 高レベルの表現が、子音・母音のような粗い音声的カテゴリへの抽象化を支援するかどうかを調査すること。

提案手法

• 事前に訓練されたCTCベースのエンドツーエンドASRモデルの異なる層から抽出した隠れ表現に、フレームレベルの音素分類器をファインチューニングする。
• フレームレベルの音素アラインメントを持つ音声素片分離データセットを用い、表現品質の正確な評価を可能にする。
• 各層のフレームレベル特徴量を用いてマルチレイヤーパーセプトロン分類器を訓練し、音素ラベルを予測する。
• 分類精度とF1スコアを用いて表現品質を評価し、層間での性能を比較する。
• t-SNEを用いて表現を可視化し、ベクトル空間におけるクラス分離性を評価する。
• 粗い音声的カテゴリ（例：破壊音、摩擦音、母音）への拡張分析を行い、層間での性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドASRモデルは、明示的な音声的監視なしに、どの程度音声的情報を学習するのか？
• RQ2 深層エンドツーエンドモデルのどの層が音声ユニットの最も情報的な表現を捉えているのか？
• RQ3 モデルの深さや複雑さを増すことで、学習された音声的表現の品質が向上するのか？
• RQ4 ASRシステムの性能と、その隠れ層で学習された表現の品質との間に相関があるか？
• RQ5 ネットワークの上位層が、子音・母音のような抽象的音声的カテゴリをよりよく表現するのか？

主な発見

• 最初の畳み込み層（cnn1）と初期の再帰層（例：rnn5）が、最高の音素分類精度を示しており、優れた音声的表現品質を示している。
• 2番目の畳み込み層（cnn2）は顕著に音素分類性能を低下させ、より深い畳み込み層では音声的詳細が失われる可能性があることを示唆している。
• 音素分類性能は初期の再帰層を経て向上するが、最終的な再帰層では低下しており、上位層が音声的情報をうまく保持していないことが示された。
• 下流層からの表現はt-SNE可視化においてより良いクラス分離性を示し、音声ユニットの明確なクラスタリングが確認された。
• 粗い音声的カテゴリに関しては、上位層（例：rnn5）は混合結果を示した。アフリケートとナーサルの予測は向上したが、他のクラスでは性能が低下した。これは、文脈依存的な有用性を示唆している。
• rnn5層ではアフリケートのF1スコアが上昇し、ナーサルのクラス内F1スコアも向上した。これは、文脈が重要な場合、上位層がクラス内音素をよりよく区別できることを示している。