[论文解读] Variational Bayesian Inference for Audio-Visual Tracking of Multiple Speakers

Yutong Ban, Xavier Alameda-Pineda+2 more|arXiv (Cornell University)|Sep 28, 2018

Speech and Audio Processing参考文献 36被引用 5

一句话总结

本文提出了一种变分贝叶斯推理框架，用于在动态、非正式会议中对多个说话人进行音视频跟踪。通过使用潜在变量时间图模型对视觉和听觉观测进行建模，该方法利用一种可处理的变分期望最大化算法，联合估计说话人轨迹、关联关系以及声学状态（说话/静默），并能有效处理任一模态的缺失或噪声数据。

ABSTRACT

In this paper we address the problem of tracking multiple speakers via the fusion of visual and auditory information. We propose to exploit the complementary nature of these two modalities in order to accurately estimate smooth trajectories of the tracked persons, to deal with the partial or total absence of one of the modalities over short periods of time, and to estimate the acoustic status -- either speaking or silent -- of each tracked person along time. We propose to cast the problem at hand into a generative audio-visual fusion (or association) model formulated as a latent-variable temporal graphical model. This may well be viewed as the problem of maximizing the posterior joint distribution of a set of continuous and discrete latent variables given the past and current observations, which is intractable. We propose a variational inference model which amounts to approximate the joint distribution with a factorized distribution. The solution takes the form of a closed-form expectation maximization procedure. We describe in detail the inference algorithm, we evaluate its performance and we compare it with several baseline methods. These experiments show that the proposed audio-visual tracker performs well in informal meetings involving a time-varying number of people.

研究动机与目标

• 解决在视觉和音频观测常不完整或受损的非正式会议中跟踪多个说话人的挑战。
• 利用视觉和听觉模态的互补优势，提升在遮挡、混响和语音重叠情况下的跟踪鲁棒性。
• 同时估计随时间变化的连续说话人轨迹、离散的观测-说话人关联关系以及声学状态（说话/静默）。
• 为复杂、高维的后验分布开发一种计算上可行的推理方法，该分布在精确贝叶斯推理下难以处理。
• 通过引入出生过程，实现实时、因果的跟踪，以检测此前未观测到的新说话人。

提出的方法

• 将音视频跟踪问题建模为一个生成式潜在变量时间图模型，其中包含连续（位置、速度）和离散（关联关系、声学状态）的潜在变量。
• 应用变分推理，通过将其分解为更简单、可处理的分布乘积，近似不可处理的联合后验分布。
• 推导出一种变分期望最大化（VEM）算法，通过交替执行后验分布估计（E步）和模型参数更新（M步）实现。
• 在E步中，对说话人状态转移和观测似然使用高斯过程先验，并对均值和协方差进行闭式更新。
• 使用通道间频谱特征和子带分解对音频特征进行建模，并采用高斯混合模型（GMM）将音频特征映射到空间位置。
• 通过一个空关联状态（n=0）引入出生过程，以检测新说话人，并对未分配观测采用均匀先验。

实验结果

研究问题

• RQ1 如何有效融合音频和视觉模态，以在传感器部分或完全失效时提升多个说话人跟踪的鲁棒性？
• RQ2 是否能通过单一生成模型联合估计说话人轨迹、观测关联关系以及声学状态（说话/静默），且无需依赖启发式阈值？
• RQ3 所提出的变分推理框架在噪声或不完整数据条件下的跟踪准确率和鲁棒性方面，相较于基线方法有多大提升？
• RQ4 该模型在参与者数量随时间变化的动态会议中，对说话人“出生”（新来者）和“死亡”（离开者）的处理能力如何？
• RQ5 使用子带分解和基于GMM的音频到位置映射对定位准确率和跟踪稳定性有何影响？

主要发现

• 所提出的变分贝叶斯跟踪器在跟踪准确率和说话人区分（diarization）方面优于基线方法，尤其在遮挡和混响等挑战性条件下表现更优。
• 该模型通过依赖另一模态的互补信息，有效处理任一模态的缺失或损坏数据，在短期传感器中断期间仍能保持稳定跟踪。
• 集成的出生过程使新说话人的检测无需预设说话人数或外部初始化。
• 子带分解与基于GMM的音频到位置映射显著提升了定位准确率，尤其在混响环境中效果明显。
• VEM算法收敛迅速，提供一种因果的、适用于动态社交互动的实时跟踪解决方案。
• 定量评估显示，该方法在基准数据集上的说话人区分F1得分更高，且多目标跟踪（MOT）错误更少，优于当前最先进方法。