[論文レビュー] Advances in Online Audio-Visual Meeting Transcription

Takuya Yoshioka, Igor Abramovski+24 more|arXiv (Cornell University)|Dec 10, 2019

Speech and Audio Processing参考文献 54被引用数 17

ひとこと要約

本論文は、新しい連続発話分離（CSS）手法と、'分離・認識・ダイアライゼーション'（SRD）と呼ばれる音声・映像ダイアライゼーションフレームワークを用いた、オンライン音声・映像会議トランスクリプションシステムを提示する。CSSを用いてリアルタイムで重複発話を分離し、顔追跡、音源定位、発話者識別を統合することで、ビームフォーミングと比較して語彙誤り率（WER）を16.1%低減し、全参加者が事前に分かっている状況ではWERと発話者付与WERの差がわずか1.0%に抑えられ、ほぼ完璧な発話者付与が達成された。

ABSTRACT

This paper describes a system that generates speaker-annotated transcripts of meetings by using a microphone array and a 360-degree camera. The hallmark of the system is its ability to handle overlapped speech, which has been an unsolved problem in realistic settings for over a decade. We show that this problem can be addressed by using a continuous speech separation approach. In addition, we describe an online audio-visual speaker diarization method that leverages face tracking and identification, sound source localization, speaker identification, and, if available, prior speaker information for robustness to various real world challenges. All components are integrated in a meeting transcription framework called SRD, which stands for "separate, recognize, and diarize". Experimental results using recordings of natural meetings involving up to 11 attendees are reported. The continuous speech separation improves a word error rate (WER) by 16.1% compared with a highly tuned beamformer. When a complete list of meeting attendees is available, the discrepancy between WER and speaker-attributed WER is only 1.0%, indicating accurate word-to-speaker association. This increases marginally to 1.6% when 50% of the attendees are unknown to the system.

研究の動機と目的

• 自然な会議環境における重複発話の認識という長年の課題に取り組むこと。これは、従来の手法が連続的で現実世界の会話音声に一般化できなかったためである。
• 顔追跡、音源定位、発話者識別を統合した、頑健でリアルタイムな音声・映像発話者ダイアライゼーションシステムを構築すること。
• 音声のみ、音声・映像、および未知の参加者を含む状況を含む、複数のユースケースをサポートするモジュラーよりも拡張性の高いフレームワーク（SRD）を設計すること。
• 連続発話分離（CSS）が、特に重複発話セグメントの認識精度を向上させる点で、エンドツーエンド会議トランスクリプションにおける有効性を実証すること。

提案手法

• システムは、N個の同時発話者数を想定した多チャネル音声入力から、時間的に同期したN個の出力信号を生成する連続発話分離（CSS）モジュールを採用している。発話者が少ない場合はゼロ出力が生成される。
• SRDフレームワークは、音声と映像入力をパイプラインで処理する：まずCSSにより重複発話を分離し、次に深層ニューラルネットワーク音響モデルと言語モデルを用いて発話認識を行い、最後に音声・映像の手がかりを用いて発話者ダイアライゼーションを実行する。
• 音声・映像ダイアライゼーションは、顔追跡、顔識別、音源定位（SSL）、発話者識別を統合し、CSSからのTFマスクを用いて発話者付与を精緻化する。
• システムは7要素の円形マイクロホンアレイとフィッシュアイカメラを用いて音声と映像を収集し、数秒の遅延でリアルタイム処理を実現する。
• 発話者ダイアライゼーションは発話認識後に実行され、参加者の事前知識に応じて異なるダイアライゼーションモジュールを柔軟に統合可能である。
• ゲスト発話者のための会議内での顔スナップショットを用いることで、顔識別を強化し、状況変化に強い性能を実現した。

実験結果

リサーチクエスチョン

• RQ1 連続発話分離（CSS）は、自然な重複発話を含むリアルタイム会議トランスクリプションシステムにおける語彙誤り率（WER）の改善に有効であるか？
• RQ2 顔追跡、音源定位、発話者識別といった音声・映像の手がかりを統合することで、現実的な会議環境における発話者ダイアライゼーション精度はどのように向上するか？
• RQ3 会議参加者についての事前知識の有無が発話者付与精度に与える影響は何か？また、未知またはゲスト発話者をどう処理するか？
• RQ4 提案されたSRDフレームワークは、音声のみや混合身元設定を含む多様な展開環境をどの程度サポートできるか？

主な発見

• 連続発話分離（CSS）手法により、高度にチューニングされたビームフォーマーと比較して、語彙誤り率（WER）が16.1%相対的に低減され、重複発話セグメントでの顕著な改善が確認された。
• 全参加者が事前に分かっている状況では、WERと発話者付与WER（SA-WER）の差がわずか1.0%に抑えられ、非常に正確な単語-発話者対応が達成された。
• 50%の参加者が未知（ゲストとして扱われる）場合、SA-WERはわずかに1.6%に上昇したが、依然として高い耐性を示した。
• 顔識別とSSLのみを用いた場合、50%の参加者が未知であった場合、画像条件の不一致により性能が悪化した。これは、発話者識別の利点を強調する結果となった。
• 視覚処理を近似した延長テストセットでも、WERは20.1%、SA-WERは22.1%で一定を保ち、リアルタイムでの耐性とスケーラビリティを確認した。
• 提案されたSRDフレームワークは、CSS、認識、ダイアライゼーションを効果的に統合し、エンドツーエンドの会議トランスクリプションパイプラインにおけるCSSの初の実証を達成した。