[論文レビュー] An End-to-end Architecture of Online Multi-channel Speech Separation

Jian Wu, Zhuo Chen+6 more|arXiv (Cornell University)|Sep 7, 2020

Speech and Audio Processing参考文献 27被引用数 4

ひとこと要約

この論文は、音声のアンミキシング、注意メカニズムを用いたビーム選択、音声抽出を統合した共同学習可能なアーキテクチャとして、エンドツーエンドのオンラインマルチチャネル音声分離システムE2E-UFEを提案する。アテンション機構を用いてビーム選択モジュールに勾配の流れを可能にすることで、E2E-UFEは元のモジュラーUFEシステムと同等のオフライン性能を達成し、ブロックオンライン評価で12.47%の相対的WER低減を達成し、リアルタイム環境におけるより高いロバスト性を示した。

ABSTRACT

Multi-speaker speech recognition has been one of the keychallenges in conversation transcription as it breaks the singleactive speaker assumption employed by most state-of-the-artspeech recognition systems. Speech separation is consideredas a remedy to this problem. Previously, we introduced a sys-tem, calledunmixing,fixed-beamformerandextraction(UFE),that was shown to be effective in addressing the speech over-lap problem in conversation transcription. With UFE, an inputmixed signal is processed by fixed beamformers, followed by aneural network post filtering. Although promising results wereobtained, the system contains multiple individually developedmodules, leading potentially sub-optimum performance. In thiswork, we introduce an end-to-end modeling version of UFE. Toenable gradient propagation all the way, an attentional selectionmodule is proposed, where an attentional weight is learnt foreach beamformer and spatial feature sampled over space. Ex-perimental results show that the proposed system achieves com-parable performance in an offline evaluation with the originalseparate processing-based pipeline, while producing remark-able improvements in an online evaluation.

研究の動機と目的

• UFEのようなモジュラーかつ別々に最適化された音声分離システムの限界、特に間接的な学習目的による性能劣化を是正すること。
• 新規のアテンションベースの選択メカニズムにより、ビーム選択モジュールを微分可能にすることで、エンドツーエンドの学習が可能なマルチチャネル音声分離の設計を可能にすること。
• 特にブロック処理制約下でのリアルタイム音声分離シナリオにおいて、ロバスト性と性能を向上させること。
• 音声アンミキシングと抽出ネットワークの共同最適化を実現しながら、実用的な会話トランスクリプションへの導入に適した低レイテンシを維持すること。

提案手法

• UFEにおける別個の音声源定位（SSL）モジュールを置き換え、勾配の逆伝播がビーム選択を経て可能となる学習可能なアテンション選択モジュールを備えたエンドツーエンドアーキテクチャ、E2E-UFEを導入する。
• 周波数および時間領域でサンプリングされた空間特徴に基づき、固定ビームフォーマーの上に空間アテンション重みを計算する微分可能なアテンション機構を採用する。
• 音声アンミキシングネットワークの目的関数として、スケール不変信号対ノイズ比（Si-SNR）を用いたパーミュテーション不変訓練（PIT）を採用し、分離品質の向上を図る。
• アンミキシングおよび抽出ネットワークの事前学習を実施した後、初期の学習率を低減してエンドツーエンドのファインチューニングを実施する共同学習戦略を適用する。
• 神経ネットワークの入力特徴として、短時間フーリエ変換（STFT）のログマグニチュードスペクトルと、マイク間位相差（cosIPDs）を用いる。
• リアルタイム制約を模擬するため、2秒または4秒のバックラグを有するブロックオンライン処理用のダブルバッファリング方式を採用する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドで学習可能なアーキテクチャを設計でき、ビーム選択プロセスに勾配が流れることを保証できるか？
• RQ2 エンドツーエンド学習によるアンミキシングと抽出ネットワークの共同最適化は、別々に訓練されたモジュラーシステムと比較して性能をどのように向上させるか？
• RQ3 リアルタイム音声分離におけるオフライン評価とオンライン評価の性能ギャップは何か？E2E-UFEはそのギャップを埋められるか？
• RQ4 エンドツーエンド学習により、推論時に誤ったビーム選択が発生した場合でも、元のUFEと比較してモデルのロバスト性が向上するか？

主な発見

• E2E-UFEは、シミュレート済みおよびセミリアルデータセットの両方において、元のUFEシステムと同等の語誤り率（WER）性能をオフライン評価で達成した。
• セミリアルデータセットでは、OV35とOV75のそれぞれでUFEと比較して4.8%および4.3%の相対的WER低減を達成し、WERはそれぞれ33.89%および35.92%にまで低下した。
• ブロックオンライン評価では、シミュレート済みデータセットで29.71%の相対的WER低減、セミリアルデータセットでは平均12.47%の相対的WER低減を達成した。
• 元のUFEシステムはオンライン環境で著しく性能が低下し、シミュレート済みデータでWERが16.44%から24.10%に、セミリアルデータで35.60%から44.05%に上昇した。これは、レイテンシ制約に対して極めて脆弱であることを示している。
• E2E-UFEのロバスト性は、トレーニング中に誤ったビーム選択にさらされる共同最適化に起因する。一方、UFEは正しいビームしか学習に使わないため、この点で劣っている。
• 両システムにスパarsificationトリックが存在しないことにより、UFEではエネルギー漏れが悪化した可能性があるが、E2E-UFEのエンドツーエンド最適化により、この問題が緩和された。