[論文レビュー] Deep Residual Network for Sound Source Localization in the Time Domain

Dmitry Suvorov, Ge Dong+1 more|arXiv (Cornell University)|Aug 20, 2018

Speech and Audio Processing参考文献 16被引用数 13

ひとこと要約

本論文では、3 cm間隔の8チャネル線形マイクロホンアレイを用いて、時間領域における音源方向定位（SSL）のための深層残差ニューラルネットワークを提案する。30 ms音声フレーム上でSSLを分類タスクとして定式化することで、分類精度が99.2%に達し、定位の標準偏差が4°にまで低下し、音声認識パイプラインに統合された際、GCC-PHATを上回る性能を示した。語彙誤り率（WER）は1.14%低減された。

ABSTRACT

This study presents a system for sound source localization in time domain using a deep residual neural network. Data from the linear 8 channel microphone array with 3 cm spacing is used by the network for direction estimation. We propose to use the deep residual network for sound source localization considering the localization task as a classification task. This study describes the gathered dataset and developed architecture of the neural network. We will show the training process and its result in this study. The developed system was tested on validation part of the dataset and on new data capture in real time. The accuracy classification of 30 m sec sound frames is 99.2%. The standard deviation of sound source localization is 4°. The proposed method of sound source localization was tested inside of speech recognition pipeline. Its usage decreased word error rate by 1.14% in comparison with similar speech recognition pipeline using GCC-PHAT sound source localization.

研究の動機と目的

• 生の音声フレームを用いた時間領域における音源方向定位のためのディープラーニングベースの手法の開発。
• リアルタイム音声処理における正確で頑健な到来方向推定の課題への対処。
• 高精度なSSLシステムを統合することで、音声認識性能の向上。
• 時間領域信号からの音源方向分類に於いて、残差ネットワークの有効性の実証。

提案手法

• 8チャネル線形マイクロホンアレイで捉えた30 ms時間領域音声フレームから、音源の方向を分類するための深層残差ニューラルネットワークを訓練。
• ネットワークアーキテクチャは、エンドツーエンドの音源方向分類を目的として設計されており、深層ネットワークの学習を安定化させるために残差ブロックを採用。
• 入力特徴量はスペクトル変換を経由せず、生の時間領域信号から直接抽出され、時間分解能が保持される。
• 制御された音源を用いた実環境音響環境から収集したカスタムデータセットを用いて学習。
• 離散的な方向バケットの多クラス分類のため、ソフトマックス交差エントロピー損失を採用。
• 訓練済みモデルを音声認識パイプラインに統合し、下流の性能向上を評価。

実験結果

リサーチクエスチョン

• RQ1 深層残差ネットワークは、時間領域音声フレームから直接音源方向を局所化する能力を効果的に学習できるか？
• RQ2 提案手法の時間領域残差ネットワークの性能は、GCC-PHATのような従来手法と比較して、どの程度の定位精度を示すか？
• RQ3 提案されたSSLシステムを音声認識パイプラインに統合することで、語彙誤り率（WER）はどの程度改善されるか？
• RQ4 モデルの一般化能力は、リアルタイムで得られた未学習の音声データに対してもどの程度維持されるか？

主な発見

• 提案された深層残差ネットワークは、30 ms音声フレームを用いた音源方向定位において99.2%の分類精度を達成した。
• 定位誤差の標準偏差は4°に測定され、方向推定の高精度を示している。
• 音声認識パイプラインに統合した際、GCC-PHATを用いた類似パイプラインと比較して、語彙誤り率（WER）が1.14%低減された。
• モデルは強力な一般化能力を示し、検証データおよびリアルタイム収集テストデータの両方で高い性能を維持した。
• スペクトル変換を経由しない生の時間領域入力を用いることで、方向分類に対して効果的かつ効率的であることが実証された。