[論文レビュー] The Cone of Silence: Speech Separation by Localization

Teerapat Jenrungrot, Vivek Jayaram+2 more|arXiv (Cornell University)|Oct 12, 2020

Speech and Audio Processing参考文献 63被引用数 25

ひとこと要約

本論文では、波形ドメインにおけるニューラルネットワークを用いた深層学習手法を提案する。この手法は、方向性の角度窓内での音声分離と局在化を可能にし、任意の数の話者（トレーニング時より多い場合も含む）を対象として、対数時間オーダーのバイナリサーチを実現する。騒音環境下でも最先端の性能を達成する。

ABSTRACT

Given a multi-microphone recording of an unknown number of speakers talking concurrently, we simultaneously localize the sources and separate the individual speakers. At the core of our method is a deep network, in the waveform domain, which isolates sources within an angular region $θ\pm w/2$, given an angle of interest $θ$ and angular window size $w$. By exponentially decreasing $w$, we can perform a binary search to localize and separate all sources in logarithmic time. Our algorithm allows for an arbitrary number of potentially moving speakers at test time, including more speakers than seen during training. Experiments demonstrate state-of-the-art performance for both source separation and source localization, particularly in high levels of background noise.

研究の動機と目的

• 未知の話者数を伴う騒音環境下で、複数話者の同時局在化と分離を実現する課題に対処すること。
• トレーニング時よりも多くの話者をテスト時に一般化できる手法を開発すること。
• マルチマイクシステムにおける選択的聴取を可能にする、リアルタイムでソフトウェア設定可能な方向性音声フィルタリング（「沈黙のコーン」）を実現すること。
• 従来のビームフォーミングや固定方向手法の限界を克服し、動的かつ即時の方向調整を可能にすること。
• 高騒音条件下での頑健性を示し、動く話者を適応的窓サイズで処理できることを実証すること。

提案手法

• 深層ニューラルネットワークを、指定された角度窓 θ ± w/2 内で話者音声を分離するように学習させる。ここで θ は注目する方向、w は窓サイズである。
• ネットワークは生波形を直接処理するため、分離性能向上に寄与する微細な時間的・周波数的詳細を保持する。
• 窓サイズ w を指数関数的に小さくすることで、対数時間オーダーのバイナリサーチ戦略を実現し、全音源の局在化を効率的に行う。
• マイクアレイの対称性を処理するための事前シフト技術を用い、推論時に任意の音源数をサポートする。
• 動く話者の場合、短時間入力（1.5秒）と粗い窓サイズ（例：23°）を用い、隣接領域間の音源をリンクする。
• 実マイクアレイデータを用いたファインチューニングにより、現実の音響環境やノイズに対する頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 生波形ドメインにおいて、ユーザー指定の角度窓内に話者音声を分離できる深層ニューラルネットワークを学習可能か？
• RQ2 角度窓に対するバイナリサーチが、複数話者の効率的かつ対数時間オーダーでの局在化と分離を可能にするか？
• RQ3 テスト時にトレーニングデータに含まれなかった任意の数の話者に対しても、一般化可能か？
• RQ4 高騒音環境下および動く話者に対して、この手法はどの程度の性能を示すか？
• RQ5 完全な真値アラインメントを必要とせずに、実世界のマイクアレイに適応可能か？

主な発見

• 2話者ではSI-SDRiスコアが13.9 dB、8話者では6.3 dBを達成し、高い話者数でも優れた性能を示す。
• 話者数が2人から8人に増加するに従い、中央値の角度誤差は2.0°から6.3°に増加し、話者数と局在精度のトレードオフが顕在化する。
• 精度は高い水準（8話者時で0.966）を維持し、再現率も0.78以上を示しており、検出と局在の信頼性が優れている。
• 短時間入力と領域リンクを用いることで、テーブルの周りを歩く人々のような動く話者を効果的に分離・局在化できる。
• 実マイクデータを用いたファインチューニングにより、頑健性が顕著に向上し、ReSpeaker Mic Array v2.0などの実世界デバイスでも効果的な運用が可能になった。
• 未学習の話者数に対しても一般化可能であり、音声以外の音源（例：音楽、環境ノイズ）に対しても、角度窓内に限定して音声源に焦点を当てることで処理可能である。