[論文レビュー] The fifth 'CHiME' Speech Separation and Recognition Challenge: Dataset, task and baselines

Jon Barker, Shinji Watanabe+2 more|arXiv (Cornell University)|Mar 28, 2018

Speech and Audio Processing被引用数 5

ひとこと要約

本論文は、6 Kinect マイクアレイと4組のバイノラルマイクを用いて20軒の実際の住宅で記録された自然な会話音声の大型データセットを特徴とする第5回 CHiME 話声分離および認識チャレンジを紹介する。チャレンジは、混响が強くノイジーな環境下での遠距離マイク、複数話者音声認識（ASR）に焦点を当てており、ベースラインでは顕著な性能差が示された（例：Kinect では 91.7% WER 対 バイノラルでは 47.9% WER）。これは、高度な音声強調技術と耐障害性の高い ASR 手法の必要性を示している。

ABSTRACT

The CHiME challenge series aims to advance robust automatic speech recognition (ASR) technology by promoting research at the interface of speech and language processing, signal processing , and machine learning. This paper introduces the 5th CHiME Challenge, which considers the task of distant multi-microphone conversational ASR in real home environments. Speech material was elicited using a dinner party scenario with efforts taken to capture data that is representative of natural conversational speech and recorded by 6 Kinect microphone arrays and 4 binaural microphone pairs. The challenge features a single-array track and a multiple-array track and, for each track, distinct rankings will be produced for systems focusing on robustness with respect to distant-microphone capture vs. systems attempting to address all aspects of the task including conversational language modeling. We discuss the rationale for the challenge and provide a detailed description of the data collection procedure, the task, and the baseline systems for array synchronization, speech enhancement, and conventional and end-to-end ASR.

研究の動機と目的

• 混ぜ込み、ノイズ、遠距離マイクによる録音が生じる現実世界の住宅環境において、耐障害性の高い自動話声認識（ASR）を進展させること。
• ラボベースのマイクアレイ録音と商業的に利用可能な実世界のマルチマイクシステムの間のギャップを埋めること。
• 重なり合う会話音声のための音声強調、アレイ同期、エンドツーエンド ASR に関する研究を促進すること。
• 単一アレイと複数アレイの2つのトラックを提供する標準化されたベンチマークを提供し、音声認識の耐障害性または完全な会話モデリングに焦点を当てたシステムの公平な比較を可能にすること。
• 再現可能な研究を可能にするために、Kinect およびバイノラルマイクを用いて記録された自然な夕食会の会話の大型公開データセットを提供すること。

提案手法

• 20軒の実際の住宅からデータを収集し、6台の Kinect マイクアレイと4組のバイノラルマイクを用いて、3つの異なる部屋（キッチン、ダイニング、リビング）で4人による夕食会を記録した。
• 各会話は2時間以上にわたり、3段階（キッチン準備、食事、リビング）に分かれており、自然で即興の会話と動きを保証した。
• アレイ同期には BeamformIt ツールキットを用い、複数の Kinect デバイス間の信号を同期した。
• 音声強調にはビームフォーミング技術を適用し、ASRデコードの前に信号品質を向上させた。
• 従来の ASR には Kaldi を用いて GMM および LF-MMI TDNN システムを訓練したが、エンドツーエンド ASR には PyTorch および Chainer ベースのハイブリッド CTC/アテンションモデルを採用した。
• 特徴抽出にはログメルフィルタバンクとピッチ特徴（83次元）を用い、トレーニングおよび推論用に Kaldi および ESPnet 形式にデータを準備した。

実験結果

リサーチクエスチョン

• RQ1 実際の住宅環境において、遠距離マイクアレイとバイノラルリファレンスマイクを用いた従来型およびエンドツーエンド ASR システムの性能は、どのように変化するか？
• RQ2 キッチンのノイズや話者の動きといった部屋固有の条件が、異なる音響環境下での ASR 性能に及ぼす影響は何か？
• RQ3 音声強調技術は、リファレンス用バイノラルマイクとチャレンジのベースラインである Kinect アレイとの間の性能差をどの程度縮められるか？
• RQ4 異なるトレーニングデータ構成（例：バイノラル対 Kinect）は、低リソース、ノイジー、混ぜ込み環境下でのエンドツーエンド ASR モデルの一般化性および耐障害性にどのように影響するか？
• RQ5 アレイ同期、ビームフォーミング、言語モデリングは、マルチマイク、会話的状況下での全体的な ASR 性能にそれぞれどの程度寄与しているか？

主な発見

• 従来の LF-MMI TDNN システムは、Kinect アレイベースラインで 91.7% WER を達成した一方、バイノラルリファレンスマイクでは 47.9% WER であった。これは 43.8% の絶対的性能差を示しており、顕著なギャップである。
• エンドツーエンド ASR システムは、Kinect アレイで 94.7% WER を記録し、GMM ベースライン（91.7%）を上回ったが、依然としてバイノラルリファレンス（67.2% WER）に大きく劣っていた。
• 性能が最も悪かったのはキッチンで、87.3% WER であり、高い背景ノイズと話者の動きの増加が原因とされる。
• バイノラルマイクセットは、従来の GMM システムで 72.8% WER を達成し、システム評価のオラクルリファレンスとしての価値を示した。
• バイノラルデータでトレーニングされたエンドツーエンドモデルは GMM システムを上回った。これは、限られたトレーニングデータ下でもエンドツーエンドアプローチが有望であることを示唆している。
• チャレンジのベースライン結果から、主な難易度はノイズや混ぜ込みそのものではなく、話者とマイクの距離と重なり合う会話に起因していることが明らかになった。