[论文解读] Face Recognition with Machine Learning in OpenCV_ Fusion of the results with the Localization Data of an Acoustic Camera for Speaker Identification

Johannes Reschke, Armin Sehr|arXiv (Cornell University)|Jul 4, 2017

Speech and Audio Processing参考文献 11被引用 3

一句话总结

本文提出了一种实时说话人识别系统，通过融合使用 OpenCV 的机器学习模型进行人脸识别与来自音频摄像头的声源定位，实现对说话人及其说话时间的精确识别，支持自适应波束成形等语音增强应用。

ABSTRACT

This contribution gives an overview of face recogni-tion algorithms, their implementation and practical uses. First, a training set of different persons' faces has to be collected and used to train a face recognizer. The resulting face model can be utilized to classify people in specific individuals or unknowns. After tracking the recognized face and estimating the acoustic sound source's position, both can be combined to give detailed information about possible speakers and if they are talking or not. This leads to a precise real-time description of the situation, which can be used for further applications, e.g. for multi-channel speech enhancement by adaptive beamformers.

研究动机与目标

• 开发一种用于动态音视频环境下的实时说话人识别系统。
• 将人脸识别与声源定位相结合，以提升说话人跟踪性能。
• 实现对谁在说话以及何时说话的精确检测，支持波束成形等应用。
• 展示在真实场景中融合视觉与音频数据的实际部署效果。

提出的方法

• 使用 OpenCV 的机器学习算法，基于带标签的人脸图像数据集训练了一个人脸识别器。
• 在视频帧之间跟踪已识别的人脸，以保持身份一致性。
• 利用声学摄像头对声源进行定位，确定语音的来源位置。
• 将人脸识别结果与声源定位数据融合，实现人脸与声源的关联。
• 通过时间对齐技术，基于音视频同步关系判断某人何时正在说话。
• 将融合后的输出应用于下游应用，如自适应波束成形。

实验结果

研究问题

• RQ1 如何有效结合人脸识别与声源定位以提升说话人识别性能？
• RQ2 实时融合视觉与音频数据是否能提升说话人跟踪的准确性？
• RQ3 将面部身份信息与声源位置信息结合，对识别活跃说话人有何影响？
• RQ4 该系统在动态、多人群环境下的表现如何？

主要发现

• 人脸识别与声源定位的融合可实现对说话人身份的精确实时识别。
• 系统在动态场景中成功将特定个体与其对应的声源位置关联起来。
• 视觉与音频数据的时间对齐使系统能够检测个体何时正在主动说话。
• 该方法可提供详细且实时的音视频场景描述，适用于高级信号处理应用。