[論文レビュー] Royalflush Speaker Diarization System for ICASSP 2022 Multi-channel Multi-party Meeting Transcription Challenge

Jingguang Tian, Xinhui Hu+1 more|arXiv (Cornell University)|Feb 10, 2022

Speech and Audio Processing被引用数 4

ひとこと要約

本論文は、ICASSP 2022 M2MeTチャレンジ向けにRoyalflushスピーカー・ダイアライゼーションシステムを提示する。本システムは、マルチチャネルU-Netベースの重なった音声検出モデル、音声分離と認証に基づく重なった音声処理手法、および3種類のスピークァーエンベッディングアーキテクチャを導入している。本システムは、遠方音声のAlimeeting評価セットにおいて6.30%のダイアライゼーションエラーレート（DER）を達成し、ベースラインの15.25%から大幅に低下した。最良の個別システムでは6.40%まで低下し、アンサンブル統合によりさらなる改善が達成された。

ABSTRACT

This paper describes the Royalflush speaker diarization system submitted to the Multi-channel Multi-party Meeting Transcription Challenge(M2MeT). Our system comprises speech enhancement, overlapped speech detection, speaker embedding extraction, speaker clustering, speech separation and system fusion. In this system, we made three contributions. First, we propose an architecture of combining the multi-channel and U-Net-based models, aiming at utilizing the benefits of these two individual architectures, for far-field overlapped speech detection. Second, in order to use overlapped speech detection model to help speaker diarization, a speech separation based overlapped speech handling approach, in which the speaker verification technique is further applied, is proposed. Third, we explore three speaker embedding methods, and obtained the state-of-the-art performance on the CNCeleb-E test set. With these proposals, our best individual system significantly reduces DER from 15.25% to 6.40%, and the fusion of four systems finally achieves a DER of 6.30% on the far-field Alimeeting evaluation set.

研究の動機と目的

• 騒音や混响、重なった音声を伴う困難な遠方音声マルチスピークァー会議状況におけるスピークァー・ダイアライゼーション性能の向上を目的とする。
• マルチチャネル音声とU-Netアーキテクチャを活用した、悪質な音響環境下でも精度の高い検出が可能な、空間的多様性を活かしたマルチチャネルU-Netベースの重なった音声検出（OSD）モデルの構築を目的とする。
• 音声分離とスピークァー認証を統合することで、重なった音声セグメントのラベリング精度を向上させ、ダイアライゼーション精度を向上させることを目的とする。
• CNCeleb-Eテストセットにおける最良のパフォーマンスを達成するため、複数の最先端スピークァーエンベッディングモデルを評価・比較することを目的とする。
• 異なるアーキテクチャと処理戦略を持つ複数のサブシステムを統合することで、M2MeTチャレンジで最高のパフォーマンスを達成することを目的とする。

提案手法

• 遠方音声の重なった音声検出のため、8チャネルマイクアレイの空間的多様性と、U-NetのU字型エンコーダ・デコーダ構造を組み合わせたマルチチャネルU-Netアーキテクチャを提案し、フレーム単位の正確なセグメンテーションを実現する。
• 音声強調処理として、マルチチャネルWPEに続いてDAS beamformingを適用し、下流処理用に単一チャネルのクリアな信号を得る。OSDモジュールを除き、この処理を適用する。
• 重なった音声セグメントの処理には2つのアプローチを採用する：1つは2つの最も近いスピークァーラベルを割り当てるヒューリスティック手法、もう1つはConv-Tasnetを用いて混合信号を分離し、スピークァーエンベッディングの重心とのコサイン類似度を用いたスピークァー認証を実施する方法。
• CNCelebデータセット上で、MUSANとRIRを用いたデータ拡張、およびsoxによるテンポの摺り合わせを含む、3種類の異なるスピークァーエンベッディングモデルを訓練・評価する。
• DOVER-Lapツールキットを用いて、スピークァーエンベッディングモデルと重なった音声処理戦略が異なる4つの異なるサブシステムの出力を統合することで、システム統合を実施する。
• 最終システムは、遠方音声のAlimeetingデータセット上で訓練・評価され、音声分離用データは、SNRが-5 dBから5 dBの範囲で、異なるスピークァーの2つのランダムな発話の混合によりシミュレートされた。

実験結果

リサーチクエスチョン

• RQ1 マルチチャネルU-Netベースのアーキテクチャは、従来のモデルに比べて、遠方マルチスピークァー会議における重なった音声検出性能を上回ることができるか？
• RQ2 ヒューリスティックラベリングと比較して、音声分離とスピークァー認証を統合することで、重なった音声領域におけるダイアライゼーション精度が向上するか？
• RQ3 CNCeleb-E評価セットにおいて、どのスピークァーエンベッディングモデルアーキテクチャが最良のパフォーマンスを示すか？
• RQ4 異なるコンponentsを有する複数のサブシステムを統合することで、全体のダイアライゼーションエラーレート（DER）はどの程度低減できるか？
• RQ5 本プロポーザルシステムは、遠方音声Alimeeting評価セットにおいて、ベースラインシステムと比較してどの程度のDERを達成するか？

主な発見

• 最良の個別システムは、遠方音声Alimeeting評価セットにおいて、ベースラインの15.25%から6.40%までダイアライゼーションエラーレート（DER）を低下させた。
• DOVER-Lapを用いた4つのサブシステムの統合により、同じ評価セットで最終的なDERは6.30%に達し、アンサンブル学習の有効性が裏付けられた。
• 音声分離に基づく重なった音声処理手法は、ヒューリスティック手法と比較して、DERをほぼ1%の絶対値で低減した。
• 提案されたマルチチャネルU-NetベースのOSDモデルは、マルチチャネル入力からの空間的およびスペクトル的特徴を活用することで、遠方条件下での検出性能を向上させた。
• 評価された3つのスピークァーエンベッディングモデルの中で、最も頑健なアーキテクチャがCNCeleb-Eテストセットで最先端のパフォーマンスを達成した。
• WPEとDASビームフォーミングによる音声強調処理は、スピークァークラスタリングおよび音声分離性能を顕著に向上させたが、OSDには悪影響を及ぼしたため、OSDパイプラインから除外された。