[論文レビュー] Hard Sample Mining for the Improved Retraining of Automatic Speech Recognition

Jiabin Xue, Jiqing Han+3 more|arXiv (Cornell University)|Apr 17, 2019

Music and Audio Processing参考文献 23被引用数 6

ひとこと要約

本稿では、弱教師付き深層複数インスタンス学習（DMIL）を用いて、エンドツーエンド自動音声認識（ASR）システムの再訓練を改善するためのハードサンプルマイニングフレームワークを提案する。少量の手動ラベル付き文を活用することで、注意機構を備えた特徴的DMILモデルを用いて、ラベルなし発話文の誤りを起こしやすい語を同定する。この手法により、Switchboardで17.2%のWERを達成し、容易なサンプルや標準データを用いた再訓練よりも顕著に優れた性能を発揮した。

ABSTRACT

It is an effective way that improves the performance of the existing Automatic Speech Recognition (ASR) systems by retraining with more and more new training data in the target domain. Recently, Deep Neural Network (DNN) has become a successful model in the ASR field. In the training process of the DNN based methods, a back propagation of error between the transcription and the corresponding annotated text is used to update and optimize the parameters. Thus, the parameters are more influenced by the training samples with a big propagation error than the samples with a small one. In this paper, we define the samples with significant error as the hard samples and try to improve the performance of the ASR system by adding many of them. Unfortunately, the hard samples are sparse in the training data of the target domain, and manually label them is expensive. Therefore, we propose a hard samples mining method based on an enhanced deep multiple instance learning, which can find the hard samples from unlabeled training data by using a small subset of the dataset with manual labeling in the target domain. We applied our method to an End2End ASR task and obtained the best performance.

研究の動機と目的

• 完全な手動ラベル付けを伴わずに、認識誤りの高いトランスクリプション（ハードサンプル）を同定・活用することで、ASR再訓練の性能を向上させること。
• 手動ラベル付けが高コストであるため、ターゲットドメインデータにおけるレアなハードサンプルの課題に対処すること。
• 語レベルの誤り位置を特定する弱教師付き学習手法の開発。ただし、語レベルのラベルは使用せず、文レベルのラベルのみを用いる。
• 注意機構、スパarsity、ゲーティング、判別的学習を組み合わせたDMILの強化により、誤りの局所化精度を向上させること。
• 実ASRベンチマーク上での手法の検証を行い、容易またはランダムサンプルを用いた標準的な再訓練よりも優れた性能を示すこと。

提案手法

• ターゲットドメインにおける少量の手動ラベル付き文を用いて、ラベルなしデータからのハードサンプル同定を目的とした弱教師付きモデルを学習する。
• 文レベルのラベルを教師信号として用い、注意機構を備えた深層複数インスタンス学習（DMIL）を適用し、文内における誤りを起こしやすい語を検出する。
• スパース注意、ゲーティング付きスパース注意、判別的DMILの3つの拡張版DMILを提案し、注目度の集中とモデルの判別力を向上させる。
• 予測不確実性に基づく損失再重み付けにより、ハードサンプルの誤りを最小化するように最適化する判別的訓練戦略（DT）を採用する。
• 文レベル誤り検出のベースライン分類器としてTextCNNを用い、注目とゲーティング機構を拡張して語レベル分類に応用する。
• マイニングされたハードサンプルを用いてエンドツーエンドASRシステムを再訓練し、ターゲットドメインのテストセットにおける汎化性能を顕著に向上させる。

実験結果

リサーチクエスチョン

• RQ1 少量の手動ラベル付き文を用いて、ラベルなしターゲットドメインASRデータ内のハードサンプルを効果的に同定できるか？
• RQ2 語レベルのラベルなしで、文レベルのラベルのみを用いて語レベルの誤り局所化を達成できるか？
• RQ3 注意機構、スパarsity、ゲーティング機構をDMILに組み込むことで、ハードサンプル同定の精度が向上するか？
• RQ4 判別的訓練を追加することで、ハードサンプルマイニングモデルの性能がさらに向上するか？
• RQ5 マイニングされたハードサンプルを用いたASRシステムの再訓練が、ターゲットドメインベンチマークにおけるWERに顕著な改善をもたらすか？

主な発見

• 800時間のハードサンプルを用いた再訓練により、Switchboardテストセットで17.2%のWERを達成。容易なサンプルを用いた再訓練（20.3%）や標準データを用いた再訓練（22.31%）よりも優れた性能を示した。
• 最も優れたモデル、GSADT_3_1（ゲーティング付きスパース注意＋判別的訓練）は、誤り検出の文レベル正答率が83.0%に達し、ベースラインより0.2%向上した。
• 判別的訓練（DT）は、特にゲーティング機構と組み合わせた場合、語レベル誤り検出の精度とF1スコアを顕著に向上させた。
• ゲーティング付きスパース注意モデルは、標準的注意やスパース注意よりも、キーワードとなる誤り語をよりよく同定でき、F1と再現率が高かった。
• ハードサンプルを用いた再訓練により、容易なサンプルを用いた再訓練と比較して、WERが5.1%相対的に低減した。これにより、ハードサンプルマイニングの有効性が裏付けられた。
• 最小限の人的ラベル付けで、トランスクリプション内の誤りを起こしやすい語を効果的に局所化できた。これは、ASRにおける低リソースドメイン適応に有効であることが実証された。