[論文レビュー] Who said that?: Audio-visual speaker diarisation of real-world meetings

Joon Son Chung, Bong‐Jin Lee+1 more|arXiv (Cornell University)|Jun 24, 2019

Speech and Audio Processing参考文献 34被引用数 5

ひとこと要約

本稿では、音声と映像の同期を活用して動画および音声から自己登録された話者モデルを生成する音声・映像連携話者ダイアライゼーションシステムを提案する。この手法により、非教師ありクラスタリングから教師あり分類へと問題を再定式化し、AMIミーティングコーパスにおいて最先端の性能を達成した。視覚的情報を用いて話者セグメントを検出・話者埋め込みを登録することで、音声のみのベースラインと比較して、ESでは48%、ISでは26%の相対的誤り率低減を達成した。ビームフォーミングとマルチモーダル統合によるさらなる性能向上も得られた。

ABSTRACT

The goal of this work is to determine 'who spoke when' in real-world meetings. The method takes surround-view video and single or multi-channel audio as inputs, and generates robust diarisation outputs. To achieve this, we propose a novel iterative approach that first enrolls speaker models using audio-visual correspondence, then uses the enrolled models together with the visual information to determine the active speaker. We show strong quantitative and qualitative performance on a dataset of real-world meetings. The method is also evaluated on the public AMI meeting corpus, on which we demonstrate results that exceed all comparable methods. We also show that beamforming can be used together with the video to further improve the performance when multi-channel audio is available.

研究の動機と目的

• 実世界のミーティングにおいて『誰がいつ話したか』を高精度に特定する課題に対処すること。
• 従来の音声のみのダイアライゼーションの限界を克服し、非教師ありクラスタリングとして扱うことで、重複話者や未知話者の問題を抱えること。
• 視覚的情報を統合することで、話者の移動や遮蔽に対する耐性を高め、話者モデルの登録を実現すること。
• 音声と映像のマルチモーダル統合による性能向上を実証し、特に制約のない実世界のミーティング環境での有効性を示すこと。
• マルチチャンネル音声が利用可能な状況でのビームフォーミングと空間的音声情報の影響を評価すること。

提案手法

• 口元の動きが明確に可視化される動画において、話者セグメントを検出できる深層音声・映像同期ネットワークを用いる。これにより、話者モデルの自己登録が可能になる。
• 音声セグメントから抽出した話者埋め込み（x-ベクトル）を用い、視覚的に確認された話者発話時のみにモデル登録を実行する。
• 登録済み話者モデルを用いて各セグメントに確率を割り当てることで、非教師ありクラスタリングから教師あり分類へとダイアライゼーションを再定式化する。
• マルチチャンネル音声にビームフォーミングを適用し、音源位置を推定。その情報を視覚的情報と統合して、アクティブ話者検出を向上させる。
• 推論時に音声、視覚的、空間的特徴を確率的統合フレームワークで統合し、検証データに最適化された適応的重み付けを実装する。
• VADおよびダイアライゼーションパイプラインはJHU Sys4に基づくが、クラスタリングの代わりにモデルベース分類を採用する。

Figure 1: Pipeline overview.

実験結果

リサーチクエスチョン

• RQ1 事前の話者情報がなくても、音声と映像の対応関係を用いて信頼性高く話者モデルを自己登録できるか？
• RQ2 自己登録された話者モデルを用いてダイアライゼーションをクラスタリングから分類に再定式化することで、実世界のミーティング環境での性能が向上するか？
• RQ3 視覚的会話検出とビームフォーミングは、遮蔽や背景ノイズに対してどの程度耐性を高めるか？
• RQ4 音声、映像、空間的情報のマルチモーダル統合は、単一モーダルまたは早期統合ベースラインと比較して、話者誤り率をどの程度低減するか？
• RQ5 提案手法は、話者数や移動が変動する制約のない実世界のミーティング環境に一般化可能か？

主な発見

• 提案された音声・映像連携話者ダイアライゼーションシステムは、AMIコーパスのESサブセットにおいて、音声のみのベースラインと比較して48%の相対的誤り率低減（SPKE）を達成した。
• ISサブセットでは26%の相対的誤り率低減（SPKE）を達成し、多様なミーティング状況への強い一般化能力を示した。
• 音声・映像対応（AVC）と音源位置推定（SSL）の導入により、それぞれ20–40%および19–39%の相対的性能向上が得られ、テストセットに応じて変動した。
• AMIコーパスのすべてのテスト条件下で、[cabanas2018multimodal]を含む先行の最先端音声・映像手法を上回った。
• 内部の実世界ミーティングデータセットに対しても良好な一般化性能を示し、音声のみのベースラインが失敗する状況でも有効であった。これは、制約のない困難な環境下でも耐性があることを示している。
• マルチチャンネル音声を用いたビームフォーミングにより、空間的情報が強化され、視覚情報と組み合わせることでさらに性能向上が得られた。

Figure 2: Still image from the internal meeting dataset.