[論文レビュー] Quaternion Neural Networks for Multi-channel Distant Speech Recognition

Xinchi Qiu, Titouan Parcollet+3 more|arXiv (Cornell University)|Jan 1, 2020

Speech and Audio Processing参考文献 36被引用数 1

ひとこと要約

本論文は、複数マイク信号を一括して処理し、相互および内部チャネル依存関係をより効果的に捉えるためにクォータニオン代数を活用するQuaternion Long-Short Term Memory (QLSTM)ネットワークを提案する。QLSTMは、同等の実数値LSTMに対して8%相対的なWER改善を達成し、TIMITおよびDIRHAデータセットにおいてビームフォーミングベースラインに対して15%の改善を示す。

ABSTRACT

Despite the significant progress in automatic speech recognition (ASR), distant ASR remains challenging due to noise and reverberation. A common approach to mitigate this issue consists of equipping the recording devices with multiple microphones that capture the acoustic scene from different perspectives. These multi-channel audio recordings contain specific internal relations between each signal. In this paper, we propose to capture these inter- and intra- structural dependencies with quaternion neural networks, which can jointly process multiple signals as whole quaternion entities. The quaternion algebra replaces the standard dot product with the Hamilton one, thus offering a simple and elegant way to model dependencies between elements. The quaternion layers are then coupled with a recurrent neural network, which can learn long-term dependencies in the time domain. We show that a quaternion long-short term memory neural network (QLSTM), trained on the concatenated multi-channel speech signals, outperforms equivalent real-valued LSTM on two different tasks of multi-channel distant speech recognition.

研究の動機と目的

• 多マイクアレイを用いた遠距離音声認識におけるノイズおよびリバーブの課題に対処すること。
• 従来のディープラーニング手法よりも効果的に、潜在的なマイク間およびマイク内信号依存関係をモデル化することで、耐障害性を向上させること。
• クォータニオン代数を、多チャネル音声信号の共同処理のインダクティブバイアスとして用いることの検討。
• QLSTMが、同じパラメータ数を有する実数値LSTMおよびビームフォーミングベースラインを上回ることを実証すること。

提案手法

• 各マイクの特徴ベクトルを4つのクォータニオン成分（実部および3つの虚部）の1つにマッピングすることで、多チャネル音声特徴をクォータニオンとして表現する。
• パラメータ共有とチャネル間連携モデリングを可能にするために、標準的なドット積の代わりにハミルトン積を採用する。
• 長短記憶（LSTM）ネットワークとクォータニオン層を統合し、時間的依存関係とチャネル間関係を同時に学習する。
• 明示的なビームフォーミングや信号処理モジュールを回避するため、連結された多チャネル特徴に対してエンドツーエンドでQLSTMを学習する。
• ネットワーク内の代数的整合性を保つために、共役、ノルム、およびハミルトン積を含むクォータニオン固有の演算を用いる。
• MFCCおよびFBANK特徴を用いて、シミュレーテッド（TIMIT）およびリアルワールド（DIRHA）の両方の遠距離音声認識タスクにモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 クォータニオンニューラルネットワークは、多チャネル音声認識においてマイク間およびマイク内依存関係を効果的にモデル化できるか？
• RQ2 QLSTMアーキテクチャは、ノイズおよびリバーブ環境下の遠距離音声認識において、同等の実数値LSTMを上回る性能を示すか？
• RQ3 多マイク音声認識における伝統的ビームフォーミング技術と比較して、QLSTMはどのように性能を発揮するか？
• RQ4 MFCCおよびFBANKなどの異なる音声特徴表現において、QLSTMの性能向上は一貫しているか？

主な発見

• シミュレーテッドTIMITデータセットにおいて、QLSTMはビームフォーミングベースラインに対して15%相対的なWER改善を達成した。
• 同じデータセットにおいて、QLSTMは同じパラメータ数を有する実数値LSTMに対して8%相対的なWER低減を示した。
• リアルワールドのDIRHAデータセットでは、MFCC特徴を用いてWERが29.8%、FBANK特徴を用いて29.7%となり、実数値LSTM（それぞれ32.7%および31.6%）を上回った。
• 異なる音声特徴表現において一貫した性能向上を示したため、入力表現に依存しない一般化能力があることが示された。
• 単一チャネルQLSTMモデルは単一チャネルLSTMと同等の性能を示したため、性能向上はクォータニオン構造そのものではなく、多チャネルモデリングに起因することが確認された。
• 実験セットとシミュレーテッドセットの間の性能差がQLSTMでより大きかったため、実世界の摂動に対して耐性があるものの、全体の誤差率は高めであることが示された。