[論文レビュー] M2MeT: The ICASSP 2022 Multi-Channel Multi-Party Meeting Transcription Challenge

Fan Yu, Shiliang Zhang+10 more|arXiv (Cornell University)|Oct 14, 2021

Speech Recognition and Synthesis被引用数 11

ひとこと要約

本論文は、120時間の遠方（8チャネルアレイ）および近接（ヘッドセット）録音を含む大規模な中国語マルチチャネル・マルチパーティ会議音声認識データセット（AliMeeting）を用いたM2MeTチャレンジを紹介する。2つのトラック（話者ダイアライゼーションおよびマルチスプーカーASR）を提供し、ESPnetツールキットを用いたコンフォーマー基盤のSOT（シリアル出力学習）モデルにより、ビームフォーミングを適用した場合に遠方テストセットで29.7%のCERを達成し、外部データおよびデータ拡張による顕著な向上効果を示した。

ABSTRACT

Recent development of speech processing, such as speech recognition, speaker diarization, etc., has inspired numerous applications of speech technologies. The meeting scenario is one of the most valuable and, at the same time, most challenging scenarios for the deployment of speech technologies. Specifically, two typical tasks, speaker diarization and multi-speaker automatic speech recognition have attracted much attention recently. However, the lack of large public meeting data has been a major obstacle for the advancement of the field. Therefore, we make available the AliMeeting corpus, which consists of 120 hours of recorded Mandarin meeting data, including far-field data collected by 8-channel microphone array as well as near-field data collected by headset microphone. Each meeting session is composed of 2-4 speakers with different speaker overlap ratio, recorded in rooms with different size. Along with the dataset, we launch the ICASSP 2022 Multi-channel Multi-party Meeting Transcription Challenge (M2MeT) with two tracks, namely speaker diarization and multi-speaker ASR, aiming to provide a common testbed for meeting rich transcription and promote reproducible research in this field. In this paper we provide a detailed introduction of the AliMeeting dateset, challenge rules, evaluation methods and baseline systems.

研究の動機と目的

• マルチスプーカー音声処理の分野において、大規模で公開可能な中国語会議コーパスの不足に対処すること。
• ICASSP 2022で開催されたチャレンジを通じて、マルチチャネル・マルチパーティ会議音声認識の共通評価プラットフォームを確立すること。
• 多様で現実世界の会議データ、豊富なアノテーション、複数の録音条件を備えたデータセットを公開することで、再現可能性の高い研究を促進すること。
• 実際の会議データを用いて、話者ダイアライゼーションおよびマルチスプーカーASRにおける最先端性能をベンチマークすること。
• データ拡張および外部データの影響が、困難な音響環境下でのモデル一般化性能に与える影響を調査すること。

提案手法

• AliMeetingコーパスは、8チャネル指向性アレイおよびヘッドセットマイクを用いて記録された120時間の中国語会議音声から構成され、2〜4人の話者が参加し、音声の重なり割合は変動する。
• チャレンジには2つのトラックが含まれる：話者ダイアライゼーションとマルチスプーカー自動音声認識（ASR）で、標準化された評価プロトコルとメトリクスが採用されている。
• マルチスプーカーASRでは、SOT（シリアル出力学習）手法が用いられ、異なる話者の発話が<sc>トークンで連結され、話者遷移をモデル化する。
• モデルは12層のコンフォーマーエンコーダーと4ヘッドのアテンションを備え、メルフィルタバンク特徴量（71次元、25msフレーム長、10msシフト）を学習に使用する。
• 一般化性能の向上のため、外部データ（Aishell-1、AIDataTang、ST-CMD）が使用され、最終モデルでは近接データに対してノイズおよびリバーブをシミュレートした。
• すべてのベースラインシステムはESPnetツールキットを用いて実装・学習され、100エポック以上にわたる学習が実施され、最初の25,000イテレーションでウォームアップが実施された。

Fig. 1 : An example of recording venue and the topology of microphone array.

実験結果

リサーチクエスチョン

• RQ1 近接および遠方データの組み合わせが、実際の会議状況におけるマルチスプーカーASR性能に与える影響は何か？
• RQ2 外部で得た、ドメイン外のデータは、遠方会議音声認識における一般化性能をどの程度向上させるか？
• RQ3 ビームフォーミングおよびデータ拡張（例：シミュレートされたノイズ／リバーブ）は、実際の遠方データに対するモデルのロバストネス向上にどの程度効果的か？
• RQ4 重なりのある発話状況下で、SOTベースのマルチスプーカーASRは単一話者ベースラインに比べてどの程度の性能向上を示すか？
• RQ5 可変な話者数を想定した場合、SOT手法は順列ベースの学習と比較してCERおよびスケーラビリティの点でどの程度優れているか？

主な発見

• SOTベースのマルチスプーカーASRモデルは、近接データとビームフォーミングを用いたファインチューニングにより、遠方テストセットで29.7%のCERを達成し、単一話者ベースラインを著しく上回った。
• 外部近接データに対してシミュレートされたノイズおよびリバーブを適用した（ConformerD）ことで、遠方データのCERは35.0%から33.3%に低下し、一般化性能の向上が顕著に示された。
• Aishell-1、AIDataTang、ST-CMDデータを学習セットに追加したことで、単一話者設定下での遠方セットのCERは37.5%から24.7%に低下した。
• ビームフォーミングを適用したSOTモデル（SOTB_bf）は、Ali-far-bfセットで29.7%のCERを達成し、SOTAベースライン（41.2%）を上回り、リバーブ環境下でもロバストであることが示された。
• FIFOベースのSOTトレーニング戦略は、完全な順列ベースのPITより優れた性能を示し、計算コストも低く抑えられた。
• AliMeetingデータセットとM2MeTチャレンジを組み合わせることで、複数の研究グループが再現可能な評価が可能な標準化されたベンチマークが提供された。