[論文レビュー] The CHiME-7 DASR Challenge: Distant Meeting Transcription with Multiple Devices in Diverse Scenarios

Samuele Cornell, Matthew Wiesner+9 more|arXiv (Cornell University)|Jun 23, 2023

Speech Recognition and Synthesis被引用数 9

ひとこと要約

この論文は、CHiME-7 DASRチャレンジを提案し、DA-WERを diarization-aware 評価指標として導入、チャネル選択、GSS、SSLRベースのASRを用いた基線配列非依存システムを詳述します。

ABSTRACT

The CHiME challenges have played a significant role in the development and evaluation of robust automatic speech recognition (ASR) systems. We introduce the CHiME-7 distant ASR (DASR) task, within the 7th CHiME challenge. This task comprises joint ASR and diarization in far-field settings with multiple, and possibly heterogeneous, recording devices. Different from previous challenges, we evaluate systems on 3 diverse scenarios: CHiME-6, DiPCo, and Mixer 6. The goal is for participants to devise a single system that can generalize across different array geometries and use cases with no a-priori information. Another departure from earlier CHiME iterations is that participants are allowed to use open-source pre-trained models and datasets. In this paper, we describe the challenge design, motivation, and fundamental research questions in detail. We also present the baseline system, which is fully array-topology agnostic and features multi-channel diarization, channel selection, guided source separation and a robust ASR model that leverages self-supervised speech representations (SSLR).

研究の動機と目的

• 多様なアレイトポロジーと音響条件の下で、ドメイン横断的に一般化可能な遠隔会議転写を促進する。
• オープンソースの事前学習モデルと外部データセットを活用し、リソース効率の高い研究を可能にする。
• DA-WERという diarization-aware 評価指標を導入し、三つのシナリオに渡る基線性能を分析する。

提案手法

• 主系統（時刻marked、話者属性付き転写）と任意の副系統（oracle diarization）を含む二重トラックのCHiME-7 DASRタスクを定義する。
• 自動チャネル選択（包絡線分散）とbestチャネル上でのGSSを用いた、アレイトポロジーに依存しない DIAR/ASR 基線を提案する。
• 計算量を削減するためのローカルEENDを用いたマルチチャネル diarization モジュールと、WavLMベースの特徴フロントエンドを備えた単一話者ASRを組み込む。
• 最適なdiarizationマッピングをHungarianマッチングで用いて、シナリオ間のdiarization attributed WERを計算するDA-WER指標を採用する。
• 自己教師付き表現とファウンデーションモデル（例: WavLM, HuBERT）および外部データセットをデータ拡張と堅牢な訓練に活用する。
• 再現性のためにESPNet2で実装されたCHiME-7基線を提供する。

実験結果

リサーチクエスチョン

• RQ1 CHiME-6、DiPCo、Mixer 6の異なるアレイ形状と話者数で、単一のシステムがどれだけ一般化できるか？
• RQ2 自動チャネル選択とGSSが、多様な音響条件下で遠隔マルチ話者ASRに与える影響はどの程度か？
• RQ3 自己監督表現とオープンな外部データは、現実世界に近いシナリオで遠隔会議転写を改善するか？
• RQ4 正確なラベルマッピングなしで、提案されたDA-WER指標は結合ASRとdiarizationの性能評価にどれほど有効か？
• RQ5 この条件下で、Whisperのような大規模事前学習モデルと比較して、アレイ-アガストシステムの基準性能はどれくらい達成可能か？

主な発見

Table 2: Diarization baseline results (DER, JER)	Table 3: DA-WER results (sub-track and main-track)
CHiME-6	Dev: DER 40.0	JER 51.1	Eval: DER 56.3	JER 62.5
DiPCo	Dev: DER 29.8	JER 41.4	Eval: DER 27.9	JER 40.9
Mixer 6	Dev: DER 16.6	JER 22.8	Eval: DER 9.3	JER 11.0
Macro	Dev: 28.8	JER 38.5	Eval: 31.2	JER 38.2
Table 3 entries for Baseline sub	Dev 32.6	62.4	Eval 35.5	77.4
Table 3 entries for Baseline main	Dev 62.4	?	Eval 77.4	?
Table 3 Whisper sub	Dev 30.9	58.4	Eval 36.6	74.0
Table 3 Whisper main	Dev 36.6	74.0	Eval 32.5	53.2

• DA-WERのマクロ平均は三つのシナリオで基線性能の課題を示し、副系統が主系統より有利であることが多い（diarizationの影響による）
• diarizationベースラインでは、DERがCHiME-6で最も難易度が高く（Dev: 40.0, Eval: 56.3）、DiPCo（Dev: 29.8, Eval: 27.9）およびMixer 6（Dev: 16.6, Eval: 9.3）に比べて相対的に難しい。
• チャネル選択（上位80%）とGSSの組み合わせは、推論時間とWERの間に有利なトレードオフを生み、Mixer 6はより多くのチャネルで恩恵を受ける。
• WavLMベースの特徴とCHiME-6+Mixer6訓練データを用いた基線ASRは、音響的ロバストネス副系でWhisperと同等のDA-WERを達成する一方、主系統の結果ではWhisperがわずかに上回る。
• DIAR/ASR基線はシナリオを跨ぐ一般化能力を示すが、オラクルdiarizationを用いても現実世界の実用的な性能に近づけるにはまだ改善の余地が大きい。