[論文レビュー] Textual Echo Cancellation

Shaojin Ding, Jia Ye+2 more|arXiv (Cornell University)|Aug 13, 2020

Speech and Audio Processing参考文献 50被引用数 7

ひとこと要約

本稿では、TTS再生の元テキストを軽量なサイド入力として用いる、マルチソースアテンションを備えたシーケンス・ツー・シーケンスモデルであるテキストエコーキャンセレーション（TEC）を提案する。従来のAEC手法と比較して、遅延と通信オーバーヘッドを著しく低減する。複数の干渉音声下でのテストクリーンデータセットにおいて、14.8%のWERと6.46のMCDを達成し、最先端の性能を発揮する。これは、最小限のサイド情報で実現された。

ABSTRACT

In this paper, we propose Textual Echo Cancellation (TEC) - a framework for cancelling the text-to-speech (TTS) playback echo from overlapping speech recordings. Such a system can largely improve speech recognition performance and user experience for intelligent devices such as smart speakers, as the user can talk to the device while the device is still playing the TTS signal responding to the previous query. We implement this system by using a novel sequence-to-sequence model with multi-source attention that takes both the microphone mixture signal and source text of the TTS playback as inputs, and predicts the enhanced audio. Experiments show that the textual information of the TTS playback is critical to enhancement performance. Besides, the text sequence is much smaller in size compared with the raw acoustic signal of the TTS playback, and can be immediately transmitted to the device or ASR server even before the playback is synthesized. Therefore, our proposed approach effectively reduces Internet communication and latency compared with alternative approaches such as acoustic echo cancellation (AEC).

研究の動機と目的

• ユーザーがTTS再生応答中に発話する際の知能デバイスにおけるエコー干渉の課題に対処すること。
• 音声エコー信号の代わりに、元テキストをサイド入力として用いることで、エコーキャンセレーションシステムの遅延とインターネット通信オーバーヘッドを低減すること。
• ユーザーがTTS応答を遮るリアルタイムで複数者参加の会話状況において、音声認識の耐障害性を向上させること。
• 合成されたTTS再生と実際の音響エコーとの間の不一致を回避するフレームワークを構築すること。
• 直接エコーサイナルにアクセスできない状況でも、テキスト情報そのものでエコーキャンセレーション性能を著しく向上させられることを示すこと。

提案手法

• マルチソースアテンションを備えたシーケンス・ツー・シーケンスモデルを用い、マイクミックス信号とTTS再生の元テキストを入力とする。
• アテンション機構を活用して、元テキストと対応するTTS音声を暗黙的にアライメントさせ、明示的な音声-テキストアライメントアルゴリズムの必要性を排除する。
• デコーダーはマイクミックスと元テキストの両方に注目することで、強化された音声信号を生成し、テキスト的文脈を通じてエコーパスをモデル化する。
• フレームワークは、リアルタイムのユーザー-デバイス相互作用をシミュレートするため、LibriTTSおよびVCTKデータセットからの合成された重複音声データ上でエンド・ツー・エンドに訓練される。
• サイド入力は元テキストに限定され、これは生の音声よりもはるかに小さいため、サーバーからデバイスへの低遅延送信が可能になる。

Fig. 1 : Acoustic echoes caused by TTS playback overlapping with user query.

実験結果

リサーチクエスチョン

• RQ1 TTS再生の元テキストを、実際のTTS音声信号が不要な状況でも、重複音声におけるエコーを効果的にキャンセルするサイド入力として使用できるか？
• RQ2 AEC-Seq2seqのような従来のAEC手法と比較して、TECの性能は遅延と通信コストの観点でどの程度優れているか？
• RQ3 音声信号の代わりにテキスト情報を用いることで、トレーニングと実世界の展開との間の不一致問題が軽減されるか？
• RQ4 テキスト情報のサイド入力が、何らかのサイド情報がないシステムと比較して、エコーキャンセレーション性能をどの程度向上させるか？
• RQ5 TECフレームワークは異なるアクセントやノイズ条件に一般化可能か？複数の干渉音声下での性能はいかがなものか？

主な発見

• 複数の干渉音声下でのテストクリーンサブセットにおいて、TECは14.8%のWER、6.46のMCD、2.39のMOSを達成し、サイド入力なしのベースラインシステムを著しく上回った。
• 単一の干渉音声下でのテストクリーンサブセットにおいて、TECは10.2%のWER、5.98のMCD、2.05のMOSを達成し、エコーキャンセレーション性能が優れていることを示した。
• TECとAEC-Seq2seqの性能差は、直接的な音声信号入力の欠如に起因するが、TECのサイド入力サイズとGFLOPSははるかに低く、遅延と帯域幅の両方を低減している。
• TECはバニラ・Seq2seqを上回り、テキスト情報が効果的なエコーキャンセレーションに不可欠であることを確認した。
• モデルは単一干渉音声よりも複数干渉音声下でより良い性能を示しており、これはVCTKデータセットにおける発話長の短縮により干渉期間が短くなったためと考えられる。

Fig. 2 : Diagram of the textual echo cancellation framework.