[論文レビュー] Directional ASR: A New Paradigm for E2E Multi-Speaker Speech Recognition with Source Localization

Aswin Shanmugam Subramanian, Chao Weng+5 more|arXiv (Cornell University)|Oct 30, 2020

Speech and Audio Processing参考文献 31被引用数 4

ひとこと要約

本稿では、方向性音声認識（D-ASR）を紹介する。D-ASRは、音声認識（ASR）損失のみを用いて、音源方向推定、音声分離、および自動音声認識（ASR）を統合的に最適化する、マルチスプーカー遠音声認識のための新規エンドツーエンドフレームワークである。発話者の方位角を潜在変数としてモデル化し、それをもとに時間周波数マスクを生成することで、平均3°未満のDOA誤差を達成し、MIMO-Speechを上回る分離品質とASR精度を実現した。

ABSTRACT

This paper proposes a new paradigm for handling far-field multi-speaker data in an end-to-end neural network manner, called directional automatic speech recognition (D-ASR), which explicitly models source speaker locations. In D-ASR, the azimuth angle of the sources with respect to the microphone array is defined as a latent variable. This angle controls the quality of separation, which in turn determines the ASR performance. All three functionalities of D-ASR: localization, separation, and recognition are connected as a single differentiable neural network and trained solely based on ASR error minimization objectives. The advantages of D-ASR over existing methods are threefold: (1) it provides explicit speaker locations, (2) it improves the explainability factor, and (3) it achieves better ASR performance as the process is more streamlined. In addition, D-ASR does not require explicit direction of arrival (DOA) supervision like existing data-driven localization models, which makes it more appropriate for realistic data. For the case of two source mixtures, D-ASR achieves an average DOA prediction error of less than three degrees. It also outperforms a strong far-field multi-speaker end-to-end system in both separation quality and ASR performance.

研究の動機と目的

• 明示的なDOAアノテーションを必要とせず、音源方向推定、音声分離、および自動音声認識（ASR）を統合的に最適化する統一されたエンドツーエンドフレームワークの開発。
• 発話者の方向を学習可能な潜在変数として明示的にモデル化することで、マルチスプーカーASRシステムの説明可能性と解釈可能性を向上。
• ASR目的関数から得られる方向情報を利用することで、遠音声状況下のASRおよび分離性能を向上。
• 現実世界のデータにおいて、並列の真値方向到達角（DOA）ラベルを必要とせず、テキスト翻訳のみから堅牢なDOA推定を実現。

提案手法

• D-ASRは、各発話者の方位角を潜在変数としてモデル化し、これをもとにステアリングベクトルおよび時間周波数（T-F）マスクの生成を制御する。
• 方向推定サブネットワークは、マルチチャネルSTFT入力を用いて位相特徴を抽出し、その後に再帰層と時間的平均化を適用して角度事後確率を出力する。
• 角度事後確率を用いて、低複雑度マスク（LCMP）またはMVDRビームフォーマーによるビームフォーミング重みを計算する。これらは微分可能であり、エンドツーエンドで学習可能である。
• システムはASR損失のみで訓練され、DOAや分離の明示的監視は一切不要であり、これにより3つのタスクの統合的最適化が可能となる。
• 推論時においては、性能向上を目的としてビームフォーマーをマスクベースのMVDR-REFビームフォーマーに置き換えるが、DOA予測は解釈可能であるまま維持される。
• 均一な正則化損失を適用して、角度事後確率分布のバランスを促進し、一般化性能およびDOA推定精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ASR翻訳文のみを監視として用いる場合に、音源方向推定をエンドツーエンドで効果的に学習可能か？
• RQ2 発話者の方向を明示的にモデル化することで、マルチスプーカーASRシステムの性能と解釈可能性はどのように向上するか？
• RQ3 真値DOAが存在しない状況下で、LCMPとMVDRの異なるビームフォーミング戦略がDOA推定と分離品質に与える影響は何か？
• RQ4 DOA角度のみを予測する簡素化されたフロントエンドは、直接T-Fマスク推定よりも優れた分離およびASR性能を達成できるか？
• RQ5 伝統的な信号処理手法（例：MUSIC、TOPS）および最先端のエンドツーエンドモデル（例：MIMO-Speech）と比較して、本手法のDOA推定精度およびASR精度はどのように異なるか？

主な発見

• LCMPビームフォーマーと正則化を用いた場合、テストセットで平均DOA予測誤差が3.0°にまで低下し、MUSIC（14.4°）およびTOPS（10.1°）を大きく上回った。
• テストセットではWERが4.1%にまで低下し、MIMO-Speech（5.1% WER）を上回り、オラクルIBMベースライン（3.0% WER）に近づいた。
• SDRスコアは15.2 dBに達し、オラクルIBM（15.7 dB）にほぼ並ぶ結果となり、MIMO-Speech（11.7 dB）を上回った。これは優れた分離品質を示している。
• 方向推定サブネットワークに均一正則化を適用することで、DOA推定精度が向上し、最良の設定（γ=10）ではテストセットで平均2.5°の誤差を達成した。
• LCMPビームフォーマーと正則化を用いたD-ASRシステムは平均L1誤差3.0°を達成したが、MVDR-REFバージョンも7.4 dBのSDRと2.9のPESQを維持し、優れた性能を示した。
• 中間出力（DOAおよびマスク）は解釈可能であり、モデルの挙動分析や発話者分離ダイナミクスの理解に役立つインサイトを提供した。