[論文レビュー] Active Learning for Speech Recognition: the Power of Gradients

Jiaji Huang, Rewon Child+4 more|arXiv (Cornell University)|Dec 10, 2016

Machine Learning and Algorithms参考文献 8被引用数 48

ひとこと要約

本稿では、勾配の大きさを活用して、最も情報量の多い未ラベル付きデータを特定する新しいアクティブラーニング手法である期待勾配長（EGL）を提案する。EGLは、ランダムサンプリングと比較して、語彙誤り率（WER）を11%低減するか、ラベル付けの必要を50%削減する。モデルの不確実性とは補完的な情報を捉えることで、信頼度ベースの手法を上回る性能を発揮する。

ABSTRACT

In training speech recognition systems, labeling audio clips can be expensive, and not all data is equally valuable. Active learning aims to label only the most informative samples to reduce cost. For speech recognition, confidence scores and other likelihood-based active learning methods have been shown to be effective. Gradient-based active learning methods, however, are still not well-understood. This work investigates the Expected Gradient Length (EGL) approach in active learning for end-to-end speech recognition. We justify EGL from a variance reduction perspective, and observe that EGL's measure of informativeness picks novel samples uncorrelated with confidence scores. Experimentally, we show that EGL can reduce word errors by 11\%, or alternatively, reduce the number of samples to label by 50\%, when compared to random sampling.

研究の動機と目的

• 大規模な音声認識データセットのラベル付けコストの高さに対処し、アクティブラーニングにおける最も情報量の多いサンプルを同定すること。
• EGLのような勾配ベースの手法が、エンドツーエンドのASRにおいて、信頼度スコアベースのアクティブラーニングを上回る可能性があるかどうかを調査すること。
• モデルパラメータ推定の文脈において、EGLを分散低減の観点から形式的に正当化すること。
• EGLの性能を実際の音声認識タスクで実証的に評価し、ランダムサンプリングおよび信頼度ベースのベースラインと比較すること。
• EGLが、モデルの不確実性や信頼度スコアに反映されない、データの情報量に関する異なる側面を捉えているかどうかを検討すること。

提案手法

• EGLは、未ラベル付き発話のすべての可能なラベルについて、損失関数のモデルパラメータに関する勾配の期待ノルムを計算する。
• 期待値を効率的に近似するために、最も確率の高い上位100ラベルについて周辺化を行う。
• サンプルはEGLスコアで順位付けされ、バッチ形式のアクティブラーニング設定でラベル付けのために選択される。
• このアプローチは漸近的分散低減に基づくもので、推定器の分散を最小化することは、情報量の増加に相当する。
• ランダムサンプリング、エントロピーに基づく不確実性、予測CTC損失（pCTC）をベースラインとして比較する。
• モデルのトレーニングは、新たにラベル付けされたクエリを繰り返し更新し、収束するまで行い、性能はホールドアウトテストセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 期待勾配長（EGL）は、エンドツーエンド音声認識において、信頼度スコアよりも優れたアクティブラーニング基準として機能できるか？
• RQ2 EGLは、エントロピーなどの不確実性ベースの測度や低信頼度予測とは相関のない情報を含むサンプルを特定できるか？
• RQ3 EGLは、ASRシステムで所定のWERに到達するために必要なラベル付きサンプル数をどの程度削減できるか？
• RQ4 ランダムサンプリングおよび信頼度ベースの手法と比較して、EGLは語彙誤り率（WER）の低減とデータ効率の面でどの程度優れているか？
• RQ5 他の手法が見逃す可能性のある、EGLが情報量が多いと特定するデータサンプルはどのようなものか？また、そのようなサンプルはモデルの一般化性能にどのような影響を及えるか？

主な発見

• EGLは、未ラベル付きデータの20%しかクエリしない状況でも、ランダムサンプリングと比較して語彙誤り率（WER）を11.09%低減する。
• 20%のクエリレートにおいて、EGLはランダムサンプリングが40%のクエリを要する水準のWERを達成するため、ラベル付けコストを50%削減できる。
• EGLは、エントロピー法およびpCTC法の両方を上回り、全クエリパcentileにおいてCERおよびWERの低減を達成するが、特にデータ量が少ない状況で最大の恩恵を受ける。
• 順位相関分析の結果、EGLはエントロピーに基づく手法と相関がないことが示され、情報量の異なる側面を捉えていることが裏付けられる。
• エントロピーでは高くないが、EGLで特に情報量が多いと特定されたサンプルには、沈黙や背景ノイズを含む短い発話が含まれており、音声アーティファクトやレアパターンに敏感である可能性が示唆される。
• 結果として、EGLはエンドツーエンドASRにおけるアクティブラーニングにおいて、補完的かつ優れた信号を提供することが示され、特にデータが少ない状況で顕著である。