[論文レビュー] Simultaneous Speech Recognition and Speaker Diarization for Monaural Dialogue Recordings with Target-Speaker Acoustic Models

Naoyuki Kanda, Shota Horiguchi+4 more|arXiv (Cornell University)|Sep 17, 2019

Speech Recognition and Synthesis参考文献 45被引用数 6

ひとこと要約

本論文は、事前の話者情報が不要なターゲット話者自動音声認識（TS-ASR）を用いて、モノラル会話録音における同時音声認識と話者ダイアライゼーションのための反復的手法を提案する。話者埋め込みの推定とその埋め込みを用いたTS-ASRの繰り返し実行により、語誤り率（WER）をオラクルTS-ASRの2.1%以内にまで低減し、ダイアライゼーション誤り率（DER）を24.63%にまで低下させ、従来のiベクトルクラスタリングベースのダイアライゼーションを上回る性能を達成した。

ABSTRACT

This paper investigates the use of target-speaker automatic speech recognition (TS-ASR) for simultaneous speech recognition and speaker diarization of single-channel dialogue recordings. TS-ASR is a technique to automatically extract and recognize only the speech of a target speaker given a short sample utterance of that speaker. One obvious drawback of TS-ASR is that it cannot be used when the speakers in the recordings are unknown because it requires a sample of the target speakers in advance of decoding. To remove this limitation, we propose an iterative method, in which (i) the estimation of speaker embeddings and (ii) TS-ASR based on the estimated speaker embeddings are alternately executed. We evaluated the proposed method by using very challenging dialogue recordings in which the speaker overlap ratio was over 20%. We confirmed that the proposed method significantly reduced both the word error rate (WER) and diarization error rate (DER). Our proposed method combined with i-vector speaker embeddings ultimately achieved a WER that differed by only 2.1 % from that of TS-ASR given oracle speaker embeddings. Furthermore, our method can solve speaker diarization simultaneously as a by-product and achieved better DER than that of the conventional clustering-based speaker diarization method based on i-vector.

研究の動機と目的

• モノラルで重なりのある会話音声における、同時音声認識（ASR）と話者ダイアライゼーションの課題に対処すること。
• 事前の話者サンプルを必要とするターゲット話者ASR（TS-ASR）の制限を克服し、話者に依存しない運用を可能にすること。
• 高重なり状態の会話録音において、ASRの精度と話者ダイアライゼーションの性能を同時に向上させること。
• iベクトル話者埋め込みのみを用いても安定した性能を達成し、より判別性の高い埋め込みへの拡張が可能であること。

提案手法

• 話者埋め込みの推定と、推定された埋め込みを用いたTS-ASR推論を交互に繰り返す反復的アルゴリズムを提案する。
• 全録音のiベクトルをクラスタリングすることで、話者に依存しない初期化を実現する。
• TS-ASRを用いて、各推定された話者埋め込みに対して単語の仮説と時間軸に整列した発話内容を生成する。
• ASRの出力をもとに話者埋め込みを更新し、繰り返しにより話者表現を精緻化する。
• 静音を厳密にフィルタリング（0.5秒未満の静音を除外）することで、埋め込みの純度を向上させ、誤検出を低減する。
• ASRのフレーム単位の時間軸整列を用いて、話者発話の開始・終了時刻を抽出し、エンドツーエンドのダイアライゼーションを実現する。

実験結果

リサーチクエスチョン

• RQ1 モノラル会話録音において、話者アイデンティティの事前知識がなくてもTS-ASRを適用可能か？
• RQ2 話者埋め込みとTS-ASRの反復的精緻化により、高重なり状態でもWERとDERの両方を向上させられるか？
• RQ3 本手法は、iベクトルを用いた従来のクラスタリングベースのダイアライゼーションと比較して、DERおよびWERの面で優れているか？
• RQ4 話者埋め込みの品質が、最終的なASRおよびダイアライゼーション性能にどの程度影響を与えるか？

主な発見

• 提案手法は語誤り率（WER）39.03%を達成し、完璧な話者埋め込みを前提としたオラクルTS-ASR（WER 37.96%）と比較してわずか2.1%高い。
• 本手法はダイアライゼーション誤り率（DER）を24.63%まで低減し、ベースラインのiベクトルクラスタリング手法（DER 32.37%）を著しく上回った。
• 異性別ペアの状況では、誤りと誤検出の誤りがほぼゼロに近く、保守的で信頼性の高い話者追跡を実現した。
• 本手法は、訓練データが少ないにもかかわらず、xベクトルベースのAHC手法と同等のDERを達成し、従来のiベクトルクラスタリング手法を下回った。
• ASRが出力する発話内容を用いて話者埋め込みを精緻化することで、ノイズの混入した静音フレームを含む正解のセグメンテーションを使用する場合よりも、より純度の高い埋め込みが得られることを示した。