[論文レビュー] A Study of Enhancement, Augmentation, and Autoencoder Methods for Domain Adaptation in Distant Speech Recognition

Hao Tang, Wei-Ning Hsu+2 more|arXiv (Cornell University)|Jun 13, 2018

Speech Recognition and Synthesis被引用数 5

ひとこと要約

本稿は、マイクに近い距離で話された音声（IHM）の事前学習モデルを用いて、遠距離音声（SDM）認識を改善するためのドメイン適応技術——音声強調、データ拡張、マルチコンディション学習、変分自己オートエンコーダー——を調査する。非教師付きドメイン適応としての因子化階層的変分自己オートエンコーダー（FHVAEs）が、遠距離音声で61.8%のWERを達成し、データ拡張を上回り、マルチコンディション学習に近い性能を示した。これは、性能差の主な要因が反響ではなく、クロストークなどの要因である可能性を示唆している。

ABSTRACT

Speech recognizers trained on close-talking speech do not generalize to distant speech and the word error rate degradation can be as large as 40% absolute. Most studies focus on tackling distant speech recognition as a separate problem, leaving little effort to adapting close-talking speech recognizers to distant speech. In this work, we review several approaches from a domain adaptation perspective. These approaches, including speech enhancement, multi-condition training, data augmentation, and autoencoders, all involve a transformation of the data between domains. We conduct experiments on the AMI data set, where these approaches can be realized under the same controlled setting. These approaches lead to different amounts of improvement under their respective assumptions. The purpose of this paper is to quantify and characterize the performance gap between the two domains, setting up the basis for studying adaptation of speech recognizers from close-talking speech to distant speech. Our results also have implications for improving distant speech recognition.

研究の動機と目的

• AMIデータセットにおけるマイクに近い距離で話された音声（IHM）と遠距離音声（SDM）の認識性能差を定量化および特徴づけること。
• 統一された実験設定下で、音声強調、データ拡張、マルチコンディション学習、およびオートエンコーダーを含む複数のドメイン適応戦略を評価すること。
• 遠距離音声認識の性能低下が主に反響に起因するのか、それともクロストークやゲイン不一致などの他の要因に起因するのかを特定すること。
• 因子化階層的変分自己オートエンコーダー（FHVAEs）を用いた非教師付きドメイン適応が、ターゲットドメインのラベルなしに、マイクに近い距離と遠距離音声の分布を効果的に一致させることの有効性を評価すること。

提案手法

• 本研究では、マイクに近い距離（IHM）と遠距離（SDM）の両方の条件を持つAMIデータセットを用い、すべての手法で同一のASRモデルアーキテクチャを訓練する。
• 音声強調は、ニューラルネットワークを用いてノイズの多い（遠距離）音声をクリアな（マイクに近い距離）音声にマッピングし、平行データ上でL2再構成損失を最小化することで実装する。
• データ拡張は、マイクに近い距離のデータにシミュレートされた反響を適用することで遠距離音声をシミュレートし、実データと拡張データの両方でモデルを訓練する。
• マルチコンディション学習は、IHMおよびSDMデータの両方を同時に最適化するもので、両ドメインにラベル付きデータが必要となる。
• FHVAEsは、言語的コンテンツ（共有）とドメイン固有要因（例：反響）を分離するように訓練され、共有エンコーダーとドメイン固有エンコーダーを用いる。
• 訓練後、FHVAEの共有潜在表現をTDNNの入力として用い、IHMおよびSDMのテストセット上で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なるドメイン適応技術は、マイクに近い距離と遠距離音声認識間のWERギャップをどの程度縮小できるか？
• RQ2 遠距離音声認識の性能低下が反響に起因する割合と、クロストークやゲイン不一致などの他の要因に起因する割合はどの程度か？
• RQ3 ターゲットドメインにラベルなしで、FHVAEsを用いた非教師付きドメイン適応が、マイクに近い距離と遠距離音声の潜在空間を効果的に一致させることができるか？
• RQ4 FHVAEベースのモデルにおいて、共有潜在分布の対数分散を特徴に含めることでドメイン適応性能が向上するか？

主な発見

• マルチコンディション学習は、IHMで27.4%、SDMで70.3%のWERを達成し、最高の性能を示したが、両ドメインにラベル付きデータが必要であった。
• 音声強調は、SDMのWERを70.3%から54.2%に低下させたが、平行でラベルなしのデータが必要なため、他の手法に比べて実用的ではなかった。
• シミュレートされた反響を用いたデータ拡張により、SDMのWERは53.1%に低下し、マルチコンディション学習に近い性能を達成したが、ターゲット条件の正確なシミュレーションが求められた。
• 非教師付きドメイン適応としてのFHVAEsを用いることで、SDMのWERは61.8%に低下し、データ拡張を上回り、両ドメインからラベルなしデータのみを用いても有望な結果を示した。
• FHVAE特徴に共有潜在分布の対数分散を含めると、性能が低下し、WERが72.9%に上昇した。これは、ノイズや関係のない変動を導入する可能性を示唆している。
• 結果から、IHMとSDMの間の性能差は主に反響によるものではなく、クロストークやゲイン不一致などの他の要因に起因する可能性が示唆され、今後の調査が求められる。