[論文レビュー] Large-Scale Domain Adaptation via Teacher-Student Learning

Jinyu Li, Michael L. Seltzer+3 more|arXiv (Cornell University)|Aug 17, 2017

Speech Recognition and Synthesis参考文献 27被引用数 20

ひとこと要約

本論文では、ラベルなしの並列データを用いた教師-生徒学習を用いて、音声認識における大規模ドメイン適応手法を提案する。事前学習済みのソースドメインモデルを教師として用い、対応するターゲットドメインの発話に対して後方確率を提供することで、ターゲットドメインの対応する発話のトランスクリプションを必要とせずに、ターゲットドメインの生徒モデルを訓練する。この手法は、ノイズの多い音声および子供の発話の両適応シナリオで、最大44%の相対的語誤り率（WER）低減を達成した。

ABSTRACT

High accuracy speech recognition requires a large amount of transcribed data for supervised training. In the absence of such data, domain adaptation of a well-trained acoustic model can be performed, but even here, high accuracy usually requires significant labeled data from the target domain. In this work, we propose an approach to domain adaptation that does not require transcriptions but instead uses a corpus of unlabeled parallel data, consisting of pairs of samples from the source domain of the well-trained model and the desired target domain. To perform adaptation, we employ teacher/student (T/S) learning, in which the posterior probabilities generated by the source-domain model can be used in lieu of labels to train the target-domain model. We evaluate the proposed approach in two scenarios, adapting a clean acoustic model to noisy speech and adapting an adults speech acoustic model to children speech. Significant improvements in accuracy are obtained, with reductions in word error rate of up to 44% over the original source model without the need for transcribed data in the target domain. Moreover, we show that increasing the amount of unlabeled data results in additional model robustness, which is particularly beneficial when using simulated training data in the target-domain.

研究の動機と目的

• ターゲットドメインにおけるラベル付きデータが乏しくない、あるいは存在しない低リソースドメイン適応の課題に対処すること。
• ターゲットドメインにおけるトランスクリプションを必要とせずに、well-trainedな音声認識モデルをソースドメインからターゲットドメインにスケーラブルに適応する手法を開発すること。
• ソースドメインとターゲットドメインのペアとしてのラベルなし並列データを活用して、モデルの一般化性能および耐性を向上させること。
• 特に、シミュレートされたまたはノイズの多いターゲットドメインデータを用いた場合に、教師-生徒学習がドメイン適応にどのように有効であるかを示すこと。
• ラベルなしデータの増加が、低リソース適応環境下でのモデルの耐性および性能にどのように寄与するかを示すこと。

提案手法

• ソースドメインの事前学習済み音声認識モデルを教師モデルとして用い、ラベルなしのソース-ターゲット対応データに対して後方確率を生成する。
• 教師の後方確率出力をソフトラベルとして用い、ターゲットドメインの生徒モデルを訓練する。これにより、真のトランスクリプションを必要としない。
• 二段階の訓練プロセスを採用する：第一段階では、教師モデルが並列ソース-ターゲット発話に対して偽ラベルを生成する。第二段階では、これらの偽ラベルを用いて知識蒸留により生徒モデルを訓練する。
• データオーグメンテーションおよびドメイン不変表現学習を、蒸留プロセスを通じて暗黙的に活用し、一般化性能を向上させる。
• 大規模なラベルなし並列データを活用することで、ターゲットドメインのラベル付きデータが存在しない場合でも、効果的な適応が可能になる。
• 生徒モデルの最適化に、予測結果と教師の後方確率出力との間の交差エントロピー損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 教師-生徒学習を用いることで、ターゲットドメインにトランスクリプションが存在しない状況でも、事前学習済み音声認識モデルを新しいドメインに効果的に適応できるか？
• RQ2 ラベルなし並列データの量が増加するにつれて、適応モデルの性能はどのように変化するか？
• RQ3 ターゲットドメインがシミュレートされたりノイズが多くなったりした場合、この手法がどれほど耐性を発揮できるか？
• RQ4 限られたラベル付きデータがある状況で、教師が生成する後方確率を用いた知識蒸留は、従来のファインチューニング手法を上回るか？
• RQ5 大人の発話から子供の発話、あるいはクリアな環境からノイズの多い環境へのドメインシフトに対しても、このアプローチは一般化可能か？

主な発見

• 提案手法は、ノイズの多い音声および子供の発話の両適応タスクにおいて、元のソースドメインモデルと比較して最大44%の相対的語誤り率（WER）低減を達成した。
• ラベルなし並列データの量が増加するにつれて性能が一貫して向上し、本手法のスケーラビリティおよび耐性の高さを示した。
• ターゲットドメインに限られたまたは全くラベル付きデータが存在しない状況では、ベースラインのファインチューニング手法を著しく上回った。
• ラベルなし並列データの活用により、データ分布のシフトが顕著なシミュレートされたターゲットドメインでも、効果的なドメイン適応が可能になった。
• 教師-生徒蒸留フレームワークは、トランスクリプションを必要とせずに、クリアでwell-trainedなモデルの知識を新しいドメインに効果的に転送できることを示した。
• 結果から、強力な教師モデルが生成する後方確率が、低リソース環境下でのドメイン適応に信頼できる監視信号として機能することが示された。