[論文レビュー] Scaling sparsemax based channel selection for speech recognition with ad-hoc microphone arrays

Junqi Chen, Xiao-Lei Zhang|arXiv (Cornell University)|Mar 28, 2021

Speech and Audio Processing参考文献 20被引用数 7

ひとこと要約

本稿では、大規模なアドホックマイクアレイを用いたマルチチャネルエンドツーエンド音声認識のための新しいチャネル選択手法であるScaling Sparsemaxを提案する。ストリームアテンションにおけるSoftmax演算子をScaling Sparsemaxに置き換えることで、モデルは最も汚損のひどいチャネルのみを効果的に抑制しつつ、有用なチャネルを保持する。シミュレートデータではSoftmaxと比較して30%以上の相対的WER低減を達成し、半実世界データではオラクルワンベストベースラインでさえも上回る性能を示した。

ABSTRACT

Recently, speech recognition with ad-hoc microphone arrays has received much attention. It is known that channel selection is an important problem of ad-hoc microphone arrays, however, this topic seems far from explored in speech recognition yet, particularly with a large-scale ad-hoc microphone array. To address this problem, we propose a Scaling Sparsemax algorithm for the channel selection problem of the speech recognition with large-scale ad-hoc microphone arrays. Specifically, we first replace the conventional Softmax operator in the stream attention mechanism of a multichannel end-to-end speech recognition system with Sparsemax, which conducts channel selection by forcing the channel weights of noisy channels to zero. Because Sparsemax punishes the weights of many channels to zero harshly, we propose Scaling Sparsemax which punishes the channels mildly by setting the weights of very noisy channels to zero only. Experimental results with ad-hoc microphone arrays of over 30 channels under the conformer speech recognition architecture show that the proposed Scaling Sparsemax yields a word error rate of over 30% lower than Softmax on simulation data sets, and over 20% lower on semi-real data sets, in test scenarios with both matched and mismatched channel numbers.

研究の動機と目的

• 遠距離音声認識を目的とした大規模なアドホックマイクアレイにおけるチャネル選択という未解決の課題に取り組む。
• SNRのような信号品質の代理指標に依存せず、認識レベルの指標を直接最適化することで、自動音声認識（ASR）性能を向上させる。
• 30マイクを超えるアレイに対応できるスケーラブルで微分可能なチャネル選択メカニズムを開発する。
• 2段階の訓練戦略を採用する：まずクリーンデータで単一チャネルのConformerを事前学習し、その後ノイズが混入したマルチチャネルデータを用いてストリームアテンションによるチャネル選択を微調整する。
• シミュレーションおよび半実世界環境の両方で、従来のSoftmaxおよび既存のチャネル選択ベースライン（オラクルワンベストを含む）を上回る性能を達成する。

提案手法

• ストリームアテンション機構におけるSoftmax演算子をSparsemaxに置き換え、ノイズの強いチャネルの重みをゼロにすることでチャネル選択を可能にする。
• 過剰なペナルティを避けるために、最も汚損のひどいチャネルの重みのみをゼロにする微分可能な穏やかなチャネルプルーニング手法として、Scaling Sparsemaxを提案する。
• 2段階の訓練戦略を設計：まずクリーンなLibrispeechデータで単一チャネルのConformerを事前学習し、その後アドホックアレイからのマルチチャネルノイズデータを用いてストリームアテンションを微調整する。
• エンコーダーおよびデコーダーの両方に多頭部アテンションを備えたConformerベースのASRアーキテクチャを採用し、ストリームアテンションモジュールを統合して複数チャネルからの特徴を再重み付けおよび統合する。
• マルチチャネルノイズデータを用いてストリームアテンションモジュールを訓練し、最適なチャネル重みを学習する。クエリ入力としてデコーダーの隠れ状態からのガイドベクトルを用いる。
• データ増強にSpecAugmentを適用し、推論時には言語モデルを用いないグリーディデコードを実装する。

実験結果

リサーチクエスチョン

• RQ1 微分可能なアテンションベースのチャネル選択メカニズムは、大規模なアドホックマイクアレイにおけるASR性能を向上させ得るか？
• RQ2 ストリームアテンションにおけるSoftmaxをSparsemaxまたはScaling Sparsemaxに置き換えることで、従来のSoftmaxやオラクルワンベスト選択よりも優れたWERを達成できるか？
• RQ3 本手法は、チャネル数の不一致（例：16チャネルで学習し30チャネルでテスト）の状況下でも効果を発揮するか？
• RQ4 オラクルワンベストベースライン（最も近いマイクの正確な知識を仮定）を上回る性能をScaling Sparsemaxが達成できるか？
• RQ5 クリーンデータでの事前学習とノイズ混在マルチチャネルデータでの微調整という2段階の訓練戦略は、モデルの収束性および性能向上に寄与するか？

主な発見

• シミュレートされたLibri-adhoc-simuデータセットにおいて、30チャネルのテストデータを用いた'test-clean'セットでは、Scaling SparsemaxがSoftmaxに対して33.90%の相対的WER低減を達成した。
• 半実世界のLibri-adhoc40データセットでは、20チャネルのテスト状況下で、オラクルワンベストベースラインに対して17.4%の相対的WER低減を実現した。
• Libri-adhoc40の30チャネルの不一致テスト状況下でも、オラクルベースラインに対して14.2%の相対的WER低減を達成した。
• 30チャネルのシミュレーションテストでは、Softmaxと比較して30%以上の相対的WER低減を達成し、大規模アレイにおけるチャネル選択の有効性を実証した。
• 可視化により、Softmaxはチャネルの再重み付けのみを行うが、Sparsemaxは多くのチャネルを過剰にペナルティ付けるのに対し、Scaling Sparsemaxは最も汚損のひどいチャネルのみを的確に抑制することが確認され、最適な性能を発揮した。
• 2段階の訓練戦略により、非常にノイジーなチャネルを含めた場合でも訓練失敗を回避でき、不一致するチャネル数の間での一般化性能が向上した。