[論文レビュー] Attention-based multi-channel speaker verification with ad-hoc microphone arrays

Chengdong Liang, Junqi Chen+2 more|arXiv (Cornell University)|Jul 1, 2021

Speech and Audio Processing参考文献 29被引用数 6

ひとこと要約

本論文は、アドホックマイクロホンアレイを対象としたアテンションベースのマルチチャネル発話者認証システムを提案する。チャネル間処理にリーマン・セルフアテンションを用い、グローバルな統合により、マイクロホン数や配置に依存しない頑健な性能を実現する。ノイジーなチャネルを抑制するためにソフトマックスの代わりにスパースマックスを採用することで、模擬データ上でオラクル・ワンベストシステム比で36.2%の相対的EER低減を達成し、準実データでは30%以上を達成する。

ABSTRACT

Recently, ad-hoc microphone array has been widely studied. Unlike traditional microphone array settings, the spatial arrangement and number of microphones of ad-hoc microphone arrays are not known in advance, which hinders the adaptation of traditional speaker verification technologies to ad-hoc microphone arrays. To overcome this weakness, in this paper, we propose attention-based multi-channel speaker verification with ad-hoc microphone arrays. Specifically, we add an inter-channel processing layer and a global fusion layer after the pooling layer of a single-channel speaker verification system. The inter-channel processing layer applies a so-called residual self-attention along the channel dimension for allocating weights to different microphones. The global fusion layer integrates all channels in a way that is independent to the number of the input channels. We further replace the softmax operator in the residual self-attention with sparsemax, which forces the channel weights of very noisy channels to zero. Experimental results with ad-hoc microphone arrays of over 30 channels demonstrate the effectiveness of the proposed methods. For example, the multi-channel speaker verification with sparsemax achieves an equal error rate (EER) of over 20% lower than oracle one-best system on semi-real data sets, and over 30% lower on simulation data sets, in test scenarios with both matched and mismatched channel numbers.

研究の動機と目的

• 未知のマイクロホンアレイ構成を有する遠方音声環境における発話者認証の課題に対処すること。
• アドホックマイクロホンアレイからのマルチチャネル音声を用いて、ノイジーで混浊した環境における頑健性を向上させること。
• マイクロホン数や順序に依存しない手法の開発。
• マイクロホンの配置や信号品質に関する事前知識なしに、効果的なチャネル重み付けと統合を可能とすること。
• 固定のチャネル選択に依存するのを減らし、アテンションを用いて最適なチャネル寄与度を学習すること。

提案手法

• マイクロホン間でチャネル固有の重みを学習するため、リーマン・セルフアテンションに基づくチャネル間処理レイヤーを導入。
• チャネル数に依存しないことを保証するため、平均プーリングを用いたグローバル統合レイヤーを適用。
• セルフアテンションにおける標準的なソフトマックスを、ノイジーまたは情報のないチャネルへの重みをゼロに強制するスパースマックスに置き換え。
• 2段階のトレーニング戦略を採用：まずクリーンデータで単一チャネルASVを事前学習し、その後アドホックデータでマルチチャネルモデルをファインチューニング。
• データオーグメンテーションとして、40次元のメルフィルタバンクに加え、インスタンス正規化とランダムな2秒クロッピングを適用。
• 1発話あたり5つの4秒クロップを用い、25対の類似度スコアの平均を最終スコアとして計算。

実験結果

リサーチクエスチョン

• RQ1 アテンションベースのマルチチャネルASVシステムは、幾何的知識が事前に与えられない未知のマイクロホンアレイを効果的に活用できるか？
• RQ2 ノイジーまたは情報のないマイクロホンチャネルを抑制する観点で、スパースマックスアテンションは標準的なソフトマックスに比べてどのように優れているか？
• RQ3 本手法は、チャネル数の不一致（例：20 vs. 30 または 40 チャネル）に対してどの程度一般化できるか？
• RQ4 オラクル・ワンベストシステム（最も近いマイクロホンを選択）に比べ、マルチチャネルシステムは性能を上回るか？
• RQ5 高混浊とノイズを伴う現実的な準実環境下で、モデルの性能はどの程度か？

主な発見

• Libri-adhoc-simuデータセットにおいて、スパースマックスを用いた本手法のマルチチャネルASVは、マッチド20チャネル状況下でオラクル・ワンベストベースライン比で36.2%の相対的EER低減を達成した。
• 同じデータセットにおいて、スパースマックスを用いたモデルは、ソフトマックスを用いたモデル比で20チャネルテストで6.2%の相対的EER低減を達成した。
• 準実データセットであるLibri-adhoc40において、スパースマックスベースのモデルは20チャネルテスト状況下でオラクル・ワンベストベースライン比で35.3%の相対的EER低減を達成した。
• 準実データセットの全テストシナリオにおいて、スパースマックスを用いたモデルはソフトマックスバージョン比で3%の相対的EER低減を示した。
• 不一致なチャネル数シナリオ（例：30または40チャネル）において一般化性能が向上し、チャネル数の変動に対して頑健であることが示された。
• 模擬データおよび準実データの両方で、オラクル・ワンベストベースラインを上回る性能を示したため、固定選択に代わる学習されたチャネル選択の価値が裏付けられた。