[論文レビュー] Recurrent Models for Auditory Attention in Multi-Microphone Distance Speech Recognition

Suyoun Kim, Ian Lane|arXiv (Cornell University)|Nov 19, 2015

Speech and Audio Processing参考文献 30被引用数 7

ひとこと要約

本論文は、ビームフォーミングや事前の空間的情報を必要とせず、遠距離音声認識のためのマルチマイク音声信号を統合するための注目メカニズムを備えたRNN音声モデル（ALSTM）を提案する。RNN内に時間-チャネル注目メカニズムを適用することで、ずれや非定常な入力に対しても動的に信頼性の高い入力源に焦点を当てる。従来のビームフォーミングと同等の性能を達成する一方で、エンド・ト・エンドで学習可能であり、計算的にもより効率的である。

ABSTRACT

Integration of multiple microphone data is one of the key ways to achieve robust speech recognition in noisy environments or when the speaker is located at some distance from the input device. Signal processing techniques such as beamforming are widely used to extract a speech signal of interest from background noise. These techniques, however, are highly dependent on prior spatial information about the microphones and the environment in which the system is being used. In this work, we present a neural attention network that directly combines multi-channel audio to generate phonetic states without requiring any prior knowledge of the microphone layout or any explicit signal preprocessing for speech enhancement. We embed an attention mechanism within a Recurrent Neural Network (RNN) based acoustic model to automatically tune its attention to a more reliable input source. Unlike traditional multi-channel preprocessing, our system can be optimized towards the desired output in one step. Although attention-based models have recently achieved impressive results on sequence-to-sequence learning, no attention mechanisms have previously been applied to learn potentially asynchronous and non-stationary multiple inputs. We evaluate our neural attention model on the CHiME-3 challenge task, and show that the model achieves comparable performance to beamforming using a purely data-driven method.

研究の動機と目的

• 単一マイク入力が劣化する騒音や混响の激しい環境において、頑健な遠距離音声認識を実現すること。
• ビームフォーミングやマイク配置・音源位置に関する事前知識に依存しないこと。
• 時間経過に伴い信頼性の高い入力チャネルに自動的に注目できるエンド・ト・エンドで学習可能な音声モデルを開発すること。
• 学習可能な注目メカニズムを用いてマルチマイク入力の空間的多様性を活用し、認識精度を向上させること。
• 手作業で設計された前処理（例：ビームフォーミング）を上回る性能を示す注目メカニズムによる統合が、単純な連結処理を上回ることを実証すること。

提案手法

• 長短記憶（LSTM）再帰的ニューラルネットワーク内に、複数のマイクからの入力を動的に注目するための新規な時間-チャネル注目メカニズムを統合する。
• 注目メカニズムは、各タイムステップでRNNの隠れ状態に基づき、異なるチャネルからの特徴量の重み付き和を計算し、高品質または時間的に整合性のある入力に選択的に注目できる。
• マルチチャネル信号からの位相情報を追加特徴として組み込み、空間的識別性を向上させ、注目学習を強化する。
• 音声認識（ASR）の標準的目的関数（例：交差エントロピー損失）を用いてエンド・ト・エンドで学習し、音声状態の正確性を最適化する。注目重みは音声モデルパラメータと同時に最適化される。
• 明示的な信号前処理（例：ビームフォーミングや遅延・和集合ビームフォーミング）を回避し、生のマルチチャネル音声を直接処理する。
• アブレーションスタディでは、位相特徴の有無、および時間のみまたは時間とチャネルの両方での注目のみのモデルを比較し、提案された注目メカニズムの寄与を分離する。

実験結果

リサーチクエスチョン

• RQ1 RNNベースの音声モデルにおける注目メカニズムは、非同期的かつ非定常的なマルチマイク入力に対して、遠距離音声認識の統合を効果的に行えるか？
• RQ2 事前の空間的情報がなく、かつマイク配置や音源位置が不明な状況下で、複数チャネルにわたる注目をエンド・ト・エンドで学習することは、従来のビームフォーミングを上回る性能を発揮するか？
• RQ3 位相情報の追加は、マルチマイクASRにおける注目メカニズムの性能と学習にどのように影響するか？
• RQ4 手作業で設計された前処理（例：ビームフォーミング）を必要とせず、データ駆動型の注目メカニズムが、その性能を同等または上回ることができるか？
• RQ5 提案された注目ベースのモデルは、ビームフォーミングと音声モデリングのパイプラインに比べ、計算効率が優れているか？

主な発見

• ALSTMモデル（時間とチャネルの両方で注目）は、CHiME-3データセットにおいて、5つのノイズ混在チャネルを単純連結した場合に比べ、13%の相対誤差率削減を達成した。
• ALSTM（位相情報あり）モデルは、ベースラインLSTM（5つのノイズ混在チャネル）に比べ、17%の相対誤差率削減を達成し、時間-チャネルの共同注目が有効であることを示した。
• マイク配置の事前知識がなく、信号強化処理も行わない状況でも、ビームフォーミングベースライン（前処理付きLSTM）と同等の性能を達成した。
• 位相特徴の追加により、認識性能が4.6%相対的に向上し、位相情報が注目学習を強化することが示された。
• 提案モデルは0.08のリアルタイムで動作し、ビームフォーミング＋LSTMパイプライン（0.6リアルタイム）に比べて著しく高速で、計算効率に優れていることを示した。
• アブレーションスタディにより、時間とチャネルの両方での注目が不可欠であることが確認された。時間のみでの注目を用いた単一チャネル入力のモデルでは、精度向上が3%にとどまり、完全な時間-チャネル注目メカニズムの17%の向上に比べて著しく低い。