[論文レビュー] Semi-Supervised Phone Classification using Deep Neural Networks and Stochastic Graph-Based Entropic Regularization

Sunil Thulasidasan, Jeffrey A. Bilmes|arXiv (Cornell University)|Dec 15, 2016

Speech Recognition and Synthesis参考文献 19被引用数 5

ひとこと要約

この論文は、深層ニューラルネットワークを用いた半教師あり音声分類のための確率的でグラフベースのエントロピー正則化手法を提案する。制御された多様性と隣接ノード接続性を備えたグラフ分割ミニバッチからメタバッチを構築することで、低ラベルデータ環境下でも顕著に精度を向上させつつ、スケーラブルで効率的な学習を可能にする。

ABSTRACT

We describe a graph-based semi-supervised learning framework in the context of deep neural networks that uses a graph-based entropic regularizer to favor smooth solutions over a graph induced by the data. The main contribution of this work is a computationally efficient, stochastic graph-regularization technique that uses mini-batches that are consistent with the graph structure, but also provides enough stochasticity (in terms of mini-batch data diversity) for convergence of stochastic gradient descent methods to good solutions. For this work, we focus on results of frame-level phone classification accuracy on the TIMIT speech corpus but our method is general and scalable to much larger data sets. Results indicate that our method significantly improves classification accuracy compared to the fully-supervised case when the fraction of labeled data is low, and it is competitive with other methods in the fully labeled case.

研究の動機と目的

• 深層ニューラルネットワークにおける半教師あり学習のための計算的に効率的で確率的なグラフ正則化技術を開発すること。
• グラフに配慮したミニバッチ構築により、データの分布的性質を保持するとともに、確率的勾配降下法の収束を可能にすること。
• 低ラベルデータ環境下におけるTIMITコーパス上でのフレームレベル音声分類精度を向上させること。
• この手法をTIMITをはるかに超える大規模データセットや他の分類タスクへ一般化すること。
• 最適な正則化性能を得るためのメタバッチにおける確率性と隣接ノード接続性のバランスをとること。

提案手法

• この手法は、教師あり交差エントロピー損失、グラフベースのエントロピー正則化、エントロピーおよびL2正則化を組み合わせたパラメトリックな目的関数を用いる。
• バランスの取れた連結部分群を保ちつつデータの多様性を維持するため、再帰的なグラフ分割（例：METIS）を用いてメタバッチを構築する。
• バッチ外の隣接ノードに対して確率的正則化を適用することで、収束に十分な多様性を備えた勾配更新を可能にする。
• データ類似度（例：コサイン類似度やRBFカーネル）から構築されたグラフを用い、接続されたノード間でモデル予測の滑らかさを強制する。
• このフレームワークは、ReLU活性化関数とドロップアウトを備えたMLPおよび深層ニューラルネットワークをサポートし、拡張された学習に適応的最適化を用いる。
• メタバッチ構築により、正則化効果の観点から、バッチの多様性（エントロピー）と隣接ノード接続性のトレードオフを制御可能となる。

実験結果

リサーチクエスチョン

• RQ1 確率的グラフ正則化は、低ラベルデータ環境下での半教師あり音声分類精度を向上させることができるか？
• RQ2 メタバッチの多様性と隣接ノード接続性のトレードオフは、モデル性能にどのように影響するか？
• RQ3 ミニバッチ学習を用いて、深層ニューラルネットワークに効率的にグラフベース正則化を適用できるか？
• RQ4 本手法は、先行のグラフベースSSL手法と比較して、精度およびスケーラビリティの観点で優れているか？
• RQ5 低ラベル環境下で、一様分布をエントロピー事前分布として用いる場合、最初のパス分類器から得られる事前分布よりも優れているか、同等か？

主な発見

• 提案された確率的グラフ正則化手法は、TIMITコーパスにおける低ラベル状況下で、フレームレベル音声分類精度を顕著に向上させる。
• MLPでは、ベースの教師ありモデルおよび先行のグラフ正則化手法を上回り、特に低ラベル比の状況で顕著な優位性を示す。
• DNNでは、先行研究[3]を上回り、非パラメトリック手法[4]に対しても低ラベル比で優れた精度を達成しているが、一様事前分布を用いているにもかかわらずである。
• テスト誤差曲線から、メタバッチの多様性と隣接ノード接続性の最適なトレードオフが確認され、接続性が低くなりすぎると性能が低下することが示された。
• 完全ラベル付き状況でも競争力ある性能を維持しており、スケーラビリティとロバスト性を示している。
• グラフ分割とバッチ外正則化を組み合わせたメタバッチの使用により、十分な確率的多様性を備えた効率的かつ収束性のある学習が可能になった。