[論文レビュー] English Conversational Telephone Speech Recognition by Humans and Machines

George Saon, Gakuto Kurata+10 more|arXiv (Cornell University)|Mar 6, 2017

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本論文は、深層残差ネットワーク（ResNets）、双方向LSTMとマルチフィーチャーフュージョン、およびWaveNet風畳み込みと文字レベルLSTMを含む高度な言語モデルを組み合わせたハイブリッドシステムを用いて、Hub5 2000のSwitchboard/CallHomeサブセットで5.5%/10.3%という新しいSOTA（最先端）の単語誤り率を達成した。また、先行研究で報告された人間のパラティイ（人間同等性能）の主張に反論し、人間の性能が以前の報告より低い（Switchboardで5.1% WER）ことが示された。これにより、今後の研究に挑戦的なベンチマークが提示された。

ABSTRACT

One of the most difficult speech recognition tasks is accurate recognition of human to human communication. Advances in deep learning over the last few years have produced major speech recognition improvements on the representative Switchboard conversational corpus. Word error rates that just a few years ago were 14% have dropped to 8.0%, then 6.6% and most recently 5.8%, and are now believed to be within striking range of human performance. This then raises two issues - what IS human performance, and how far down can we still drive speech recognition error rates? A recent paper by Microsoft suggests that we have already achieved human performance. In trying to verify this statement, we performed an independent set of human performance measurements on two conversational tasks and found that human performance may be considerably better than what was earlier reported, giving the community a significantly harder goal to achieve. We also report on our own efforts in this area, presenting a set of acoustic and language modeling techniques that lowered the word error rate of our own English conversational telephone LVCSR system to the level of 5.5%/10.3% on the Switchboard/CallHome subsets of the Hub5 2000 evaluation, which - at least at the writing of this paper - is a new performance milestone (albeit not at what we measure to be human performance!). On the acoustic side, we use a score fusion of three models: one LSTM with multiple feature inputs, a second LSTM trained with speaker-adversarial multi-task learning and a third residual net (ResNet) with 25 convolutional layers and time-dilated convolutions. On the language modeling side, we use word and character LSTMs and convolutional WaveNet-style language models.

研究の動機と目的

• Hub5 2000のSwitchboardおよびCallHomeテストセットにおける英語の会話型電話音声認識性能の向上を目的とする。
• 品質管理を施した独立した人間によるトランスクリプション実験を実施し、音声認識における人間性能の再評価を目的とする。
• 現在の自動音声認識（ASR）システムが会話型音声タスクにおいて人間レベルの性能に達している、あるいはそれを上回っているかどうかを調査することを目的とする。
• 低リソースな会話型音声認識分野における最先端技術を発展・統合し、性能をさらに向上させることを目的とする。
• トレーニング・テストデータの重複や会話スタイルの違い（他人同士 vs. 友人・家族）がASRおよび人間の性能に与える影響を評価することを目的とする。

提案手法

• 25層の拡張型ResNet（時間的拡張畳み込みを備える）と、マルチフィーチャー入力を備えた双方向LSTM、およびスプーカー対抗的マルチタスク学習LSTMを組み合わせたハイブリッド音声モデルを採用した。
• Hub5 2000テストセットにおける耐性と正確性の向上を図るため、3つの異なる音声モデルのスコア統合を実施した。
• 複数の言語モデルを統合：単語レベルおよび文字レベルのLSTMに加え、残差接続付きのWaveNet風畳み込み言語モデルも使用した。
• 5つの言語モデル（モデル-Mおよびワード-LSTM-MTLを含む）の線形補間によるn-bestラティス再スコアリングを実施し、出力トランスクリプションの精度を向上させた。
• NIST scliteとの一貫性を保つために、参照トランスクリプトおよびシステム出力に対してフィルタリングルール（例：句読点や非語彙的要素の削除）を適用した。
• 保持データを用いたハイパーパrameterおよび学習率のチューニングを実施し、ADAM最適化とレイヤー別学習率調整の自己安定化手法を用いた。

実験結果

リサーチクエスチョン

• RQ1 Hub5 2000のSwitchboardおよびCallHomeテストセットにおける真の人の単語誤り率（WER）は何か？ また、過去の推定値と比較するとどうか？
• RQ2 トレーニングデータの重複（例：共有スプーカー）がSwitchboardテストセットにおけるASR性能にどれほど影響を及ぼすか？ また、これにより人間同等性能の認識がどのように変化するか？
• RQ3 特にLSTMとWaveNet風畳み込みを用いた言語モデルアーキテクチャは、会話型音声認識におけるWER低減にどの程度寄与しているか？
• RQ4 残差ネットワーク（ResNets）、拡張畳み込み、およびマルチタスク学習を音声モデルに組み合わせることで、低リソースな会話型音声認識における性能向上が著しく達成できるか？
• RQ5 SwitchboardとCallHomeの会話スタイルの違いを考慮すると、現在のASRの最先端性能が人間性能に近づいている、あるいはそれを上回っていると見なせるか？

主な発見

• 品質チェックを経た最良の人間トランスクリプターは、Switchboardテストセットで5.1% WERを達成した。これは過去の報告値（5.9%）よりも顕著に低く、人間同等性能の主張に反論するものである。
• CallHomeテストセットにおける人間の性能は6.8% WERであった。これは過去の文献で報告された11.3%よりも顕著に高く、CallHomeが従来想定されていたよりも困難なタスクであることを示している。
• 提案されたASRシステムは、Switchboardで5.5%、CallHomeで10.3%という新しいSOTAの単語誤り率を達成し、以前のシステムを上回り、新たなベンチマークを設定した。
• 5つの言語モデル（ワード-LSTM-MTLおよび畳み込み型WaveNet風LMを含む）の組み合わせにより、Switchboardで5.5%、CallHomeで10.3%のWERを達成した。特にCallHomeではマルチタスク学習による利益が顕著に現れた。
• 25層の残差ネットワーク（ResNets）と拡張畳み込みを用いることで、従来のVGGベースのモデルに比べて音声モデル性能が向上し、特に長距離依存性の捉え方が向上した。
• 参照トランスクリプトおよびシステム出力から句読点を除去することで、一部のテストセット（例：DEV’04fで7.1%）でWERが改善した。これは、参照トランスクリプトにおける句読点表記の不一致がスコアリングやモデル評価に影響を与える可能性があることを示している。