[論文レビュー] Semi-supervised Learning with Sparse Autoencoders in Phone Classification

Akash Kumar Dhaka, Giampiero Salvi|arXiv (Cornell University)|Oct 3, 2016

Speech Recognition and Synthesis参考文献 8被引用数 4

ひとこと要約

本論文では、ミニバッチ確率的勾配降下法を用いて、ラベル付きデータとラベルなしデータの両方を用いて再構成誤差と分類誤差を同時に最適化する、単層半教師付きスパース自己符号化器（SSSAE）を提案する。TIMITデータセットにおいて、教師あり学習に比べてフレーム単位の発音分類精度が2.9%絶対的に向上し、多数のグラフベースの半教師付き手法を上回り、計算コストを著しく抑えた状態で最先端の性能に近づく。

ABSTRACT

We propose the application of a semi-supervised learning method to improve the performance of acoustic modelling for automatic speech recognition based on deep neural net- works. As opposed to unsupervised initialisation followed by supervised fine tuning, our method takes advantage of both unlabelled and labelled data simultaneously through mini- batch stochastic gradient descent. We tested the method with varying proportions of labelled vs unlabelled observations in frame-based phoneme classification on the TIMIT database. Our experiments show that the method outperforms standard supervised training for an equal amount of labelled data and provides competitive error rates compared to state-of-the-art graph-based semi-supervised learning techniques.

研究の動機と目的

• ラベル付きデータが限られる低リソース環境における自動音声認識（ASR）の音声モデリングを改善すること。
• 無教師事前学習の限界、すなわち音声タスクに最適化されていない汎用的表現を生成すること。
• ASR分野における計算コストの高いグラフベースの半教師付き学習（GBL）手法のより効率的な代替手段を開発すること。
• 同じ量のラベル付きデータを用いた場合に、単層スパース自己符号化器による共同最適化が標準的な教師あり学習を上回るかを評価すること。

提案手法

• モデルは、エンコーダ、デコーダ、分類器の3つのコンponentが共有される単層アーキテクチャを採用しており、エンコーダの出力が自己符号化器と分類器の両方で利用される。
• 損失関数は、自己符号化器からの再構成誤差（E_R）とソフトマックス分類器からの分類誤差（E_C）の重み付き和として定義され、E = E_R + αE_C と表される。
• 特徴学習の向上と自明な解の回避を目的として、隠れ表現にスパarsity制約を課す。
• 教師あり学習と教師なし学習のトレードオフを制御するハイパーパrameter α は、検証セット上でチューニングされ、ラベル付きデータの割合が高くなるにつれて増加する。
• Theanoを用い、Titan Xを用いたGPUアクセラレーションにより、ミニバッチ確率的勾配降下法で学習を実行する。
• グラフベースの手法とは異なり、新しいデータが追加された際にグラフ全体を再学習する必要がない。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが限られる状況で、再構成と分類を共同最適化する単層スパース自己符号化器が、発音分類性能を向上させることができるか？
• RQ2 同じ量のラベル付きデータを用いた場合、提案手法SSSAEは標準的な教師あり学習に比べて性能が向上するか？
• RQ3 提案手法は、精度と計算効率の両面で、既存のグラフベースの半教師付き学習手法を上回るか？
• RQ4 最適なトレードオフハイパーパrameter α は、訓練データにおけるラベル付きデータの割合に応じてどのように変化するか？
• RQ5 ラベル付きデータが限られる低リソースASR環境において、本手法は十分に一般化できるか？

主な発見

• 1%のデータにラベルが付与された状況で、SSSAEは教師ありベースライン（57.93%）に比べてテスト精度が2.9%絶対的に向上し、59.84%の精度を達成した。
• 10%のラベル付きデータを用いた場合、SSSAEは67.03%のテスト精度を達成し、pMP（Prior-Regularised Measure Propagation）を除くすべてのグラフベース手法を上回った。
• 最適なα値は、ラベル付きデータの割合が増えるにつれて増加し、より多くのラベル付き例が利用可能になると分類誤差の重みを高める傾向が示された。
• 検証精度とテスト精度がすべての実験で安定して近接しており、良好な一般化性能と適切なハイパーパrameterチューニングが実現された。
• すべてのラベル付きデータの割合において一貫した性能向上が見られ、特にラベル付きデータの割合が低い場合に相対的な改善が顕著に現れ、低リソース設定において極めて重要である。
• 結果から、共同最適化を施したスパース自己符号化器は、ASR分野における複雑なグラフベースの半教師付き学習手法に代わる、効率的で効果的な代替手段であると示唆される。