[論文レビュー] Continuous Speech Separation with Conformer

Sanyuan Chen, Yu Wu+7 more|arXiv (Cornell University)|Aug 13, 2020

Speech and Audio Processing参考文献 39被引用数 11

ひとこと要約

本稿では、自己注意機構と畳み込みモジュールを活用して長距離および局所的文脈を捉えることで、分離性能を向上させる、単一およびマルチチャネル設定における連続的発話分離（CSS）のためのConformerベースのモデルを提案する。LibriCSSでは最先端の結果を達成し、実際の会議録音データにおいて顕著なWER/SA-WERの向上を示し、複雑な現実世界の会話状況においてRNNやTransformersよりもConformerの有効性を実証した。

ABSTRACT

Continuous speech separation plays a vital role in complicated speech related tasks such as conversation transcription. The separation model extracts a single speaker signal from a mixed speech. In this paper, we use transformer and conformer in lieu of recurrent neural networks in the separation system, as we believe capturing global information with the self-attention based method is crucial for the speech separation. Evaluating on the LibriCSS dataset, the conformer separation model achieves state of the art results, with a relative 23.5% word error rate (WER) reduction from bi-directional LSTM (BLSTM) in the utterance-wise evaluation and a 15.4% WER reduction in the continuous evaluation.

研究の動機と目的

• 複数発話者による重なり発話が生じる現実の会話状況において、従来のASRシステムが性能を発揮できない課題に対処すること。
• RNNベースのモデルと比較して、Conformerアーキテクチャが連続的発話分離（CSS）性能を向上させるかどうかを調査すること。
• 特に自然な発話者入れ替えと重なりを示す実際の会議録音データにおいて、Conformerの単一およびマルチチャネル設定における有効性を評価すること。
• 文脈に配慮したモデリングによる発話分離の強化を通じて、エンドツーエンドの会話トランスクリプションにおける語誤り率（WER）および発話者別語誤り率（SA-WER）を低減すること。
• 高重なり状況で得られる利点を維持しつつ、低重なり領域での性能低下を緩和するためのトレーニングおよび推論手法の検討

提案手法

• 分離ネットワークとしてConformerアーキテクチャを採用し、自己注意、畳み込みモジュール、およびフィードフォワードネットワークを統合することで、発話の局所的およびグローバルな文脈をモデル化する。
• 入力特徴には、マルチチャネル設定ではSTFTの振幅スペクトルとチャネル間位相差（IPD）を、単一チャネル設定ではSTFTのみを用い、時間軸に沿って正規化する。
• 各発話者向けのマスクは深層ニューラルネットワーク（Conformer）により予測され、混合STFTとマスクの要素ごとの積により音声信号を再構成する。
• マルチチャネル入力では、マスク処理後の信号に対してMVDRビームフォーミングを適用して分離品質を向上させる。
• 1人の発話者しか活動していない場合の出力を統合するためのマージ機構を導入し、残存ノイズに起因する語挿入誤りを低減する。
• ノイズに強いトレーニングとして、ノイズを含む単一発話者ターゲットを用いることで、ASRモデルが残存ノイズに対処できるようにする。

実験結果

リサーチクエスチョン

• RQ1 Conformerアーキテクチャは、単一およびマルチチャネル設定の両方で、RNNベースのモデルを上回る性能を示せるか？
• RQ2 Conformerが長距離および局所的文脈をモデル化できる能力が、自然な発話者入れ替えと重なりを示す実会議録音データでの性能向上に寄与するか？
• RQ3 より長い文脈窓を用いることで、特に高重なり状況での性能にどのような影響を与えるか？
• RQ4 ベースラインシステムと比較して、Conformerベースの分離手法が実会話トランスクリプションにおけるWERおよびSA-WERをどの程度低減できるか？
• RQ5 高重なり状況での利点を維持しつつ、低重なり領域での性能低下を防ぐために必要なトレーニングおよび推論の修正は何か？

主な発見

• Conformerベースのモデルは、LibriCSSデータセットで最先端の性能を達成し、単一およびマルチチャネル設定の両方でRNNベースのベースラインを上回った。
• LibriCSSデータセットにおいて、219時間の学習データを用いた場合、Conformer-baseモデルはBLSTMベースラインと比較してWERを相対的に7.2%低減し、SA-WERを6.3%低減した。
• 1500時間の学習データを用いた場合、実会議データセットにおいてConformer-baseモデルは、分離なしのシステムと比較して、WERを相対的に11.8%低減し、SA-WERを18.4%低減した。
• Conformer-largeモデルは、ノイズに配慮したトレーニングとマージ処理を組み合わせることで、より高いロバスト性を示し、SA-WERを相対的に13.7%低減した。
• マージ機構とノイズに強いトレーニングは、語挿入誤りを顕著に低減させ、特に低重なり領域での性能向上に寄与した。
• Conformerモデルは、BLSTMベースラインとは異なり、低重なり状況でも性能低下を緩和した。