[論文レビュー] Developing Far-Field Speaker System Via Teacher-Student Learning

Jinyu Li, Rui Zhao+5 more|arXiv (Cornell University)|Apr 14, 2018

Speech Recognition and Synthesis参考文献 35被引用数 6

ひとこと要約

本論文では、遠方話者のシステムを構築するための教師-生徒（T/S）学習フレームワークを提案する。このフレームワークは、近距離話者の音声モデル（AM）を遠方条件に適応させるとともに、デバイスの効率性を高めるために大規模なキーワードスティング（KWS）モデルを圧縮する。翻訳なしのデータを活用するT/S学習により、再生データとライブデータの両方で、それぞれ72.60%および57.16%の相対的WER低減が達成され、AMの性能が向上した。一方、KWSモデルのサイズは27倍に圧縮され、精度に損なわれることなく、性能を維持した。

ABSTRACT

In this study, we develop the keyword spotting (KWS) and acoustic model (AM) components in a far-field speaker system. Specifically, we use teacher-student (T/S) learning to adapt a close-talk well-trained production AM to far-field by using parallel close-talk and simulated far-field data. We also use T/S learning to compress a large-size KWS model into a small-size one to fit the device computational cost. Without the need of transcription, T/S learning well utilizes untranscribed data to boost the model performance in both the AM adaptation and KWS model compression. We further optimize the models with sequence discriminative training and live data to reach the best performance of systems. The adapted AM improved from the baseline by 72.60% and 57.16% relative word error rate reduction on play-back and live test data, respectively. The final KWS model size was reduced by 27 times from a large-size KWS model without losing accuracy.

研究の動機と目的

• 翻訳済みの遠方話者データを必要とせずに、遠方音声認識における音声モデル（AM）の性能を向上させること。
• エッジデバイスに適合させるために大規模なキーワードスティング（KWS）モデルを圧縮し、精度を保持すること。
• 翻訳なしの近距離話者およびシミュレートされた遠方話者データを活用して、モデルの適応と圧縮を実現すること。
• ライブテストデータを用いたシーケンス判別的訓練により、実世界での性能を最適化すること。
• 自己教師付き知識蒸留を用いて、スケーラブルで効率的な遠方話者認識システムを構築すること。

提案手法

• 並列の近距離話者データとシミュレートされた遠方話者データを用いて、良好に訓練された近距離話者AM（教師）から遠方AM（生徒）へ知識を転送する教師-生徒学習を適用する。
• 翻訳なしの遠方話者データを生徒の学習プロセスに組み込み、翻訳データを必要とせずに耐障害性を向上させる。
• 教師モデルが生成するソフトラベルを模倣することで、大規模なKWSモデルをより小さなモデルに圧縮する知識蒸留を適用する。
• ライブテストデータを用いたシーケンス判別的訓練により、AMおよびKWSモデルの両方を最適化し、実世界での性能を向上させる。
• 教師モデルのソフトラベル分布を生徒モデルに一致させる知識蒸留の目的関数を用いて、生徒モデルを訓練する。
• 実世界の状況を補完し、低SNR環境での一般化性能を向上させるために、シミュレートされた遠方話者データを活用する。

実験結果

リサーチクエスチョン

• RQ1 翻訳済みの遠方話者データがなくても、教師-生徒学習は近距離話者AMを遠方条件に効果的に適応させることができるか？
• RQ2 知識蒸留を用いることで、エッジデバイス向けに大規模なKWSモデルをどの程度圧縮できるか、かつ精度を維持できるか？
• RQ3 翻訳なしのデータは、遠方ASRおよびKWSシステムにおけるモデル性能をどのように向上させるか？
• RQ4 シーケンス判別的訓練とライブデータの使用は、実世界でのシステム性能にどのような影響を与えるか？
• RQ5 統合されたT/Sフレームワークは、AMの耐障害性向上とKWSモデルの効率化を同時に達成できるか？

主な発見

• 適応された音声モデルは、ベースラインと比較して再生テストデータで72.60%の相対的語誤り率（WER）低減を達成した。
• ライブテストデータでは、適応されたAMが57.16%の相対的WER低減を達成し、実世界での強力な耐障害性を示した。
• 最終的なKWSモデルは、元の大きなモデルと比較して27倍にサイズが圧縮され、精度に劣化が生じなかった。
• T/S学習における翻訳なしデータの活用は、AMの適応とKWSの圧縮の両方において、モデルの一般化性能を顕著に向上させた。
• ライブデータを用いたシーケンス判別的訓練により、特に騒音の多い実世界環境下でのシステム性能がさらに向上した。
• 提案されたT/Sフレームワークは、シミュレートされたデータと翻訳なしデータを効果的に活用し、高価な翻訳データへの依存を低減した。