[論文レビュー] Face Recognition with Machine Learning in OpenCV_ Fusion of the results with the Localization Data of an Acoustic Camera for Speaker Identification

Johannes Reschke, Armin Sehr|arXiv (Cornell University)|Jul 4, 2017

Speech and Audio Processing参考文献 11被引用数 3

ひとこと要約

本論文では、OpenCVの機械学習モデルを用いた顔認識と音声カメラからの音源局所化を統合するリアルタイムの話者同定システムを提示する。顔認識の結果と音源位置を組み合わせることで、誰がいつ話しているかを正確に特定でき、音声強調のための適応ビームフォーミングなどの応用が可能になる。

ABSTRACT

This contribution gives an overview of face recogni-tion algorithms, their implementation and practical uses. First, a training set of different persons' faces has to be collected and used to train a face recognizer. The resulting face model can be utilized to classify people in specific individuals or unknowns. After tracking the recognized face and estimating the acoustic sound source's position, both can be combined to give detailed information about possible speakers and if they are talking or not. This leads to a precise real-time description of the situation, which can be used for further applications, e.g. for multi-channel speech enhancement by adaptive beamformers.

研究の動機と目的

• 動的な音声・映像環境における話者のリアルタイム同定システムの開発を目的とする。
• 顔認識と音源局所化を統合し、話者の追跡を向上させることを目的とする。
• 誰がいつ話しているかを正確に検出可能とし、ビームフォーミングなどの応用を支援することを目的とする。
• 実世界の環境で視覚的・音声的データを統合して実装する実用的応用を示すこと。

提案手法

• OpenCVの機械学習アルゴリズムを用いてラベル付き顔画像データセットを学習し、顔認識器を訓練した。
• 動画フレーム間での顔の追跡により、識別子の一貫性を維持した。
• 音声カメラを用いて音源を局所化し、会話の発生源を特定した。
• 顔認識の出力と音源局所化データを統合し、顔と音源を関連付けた。
• 時間的同期を用いて、音声と映像の整合性から誰が話しているかを特定した。
• 統合出力を、適応ビームフォーミングなどの後続応用を支援するために活用した。

実験結果

リサーチクエスチョン

• RQ1 顔認識と音源局所化を効果的に統合することで、話者同定の性能をどのように向上させられるか？
• RQ2 視覚的・音声的データのリアルタイム統合は、話者追跡の正確性を向上させられるか？
• RQ3 顔の識別情報と音源位置の組み合わせが、活発な話者を同定する上でどのような影響を及ぼすか？
• RQ4 本システムは、動的で複数人の参加がある環境でも効果的に動作するか？

主な発見

• 顔認識と音源局所化の統合により、誰が話しているかを正確にリアルタイムで同定可能となった。
• 本システムは、動的なシーンにおいて特定の人物とその対応する音源を正しく関連付けることに成功した。
• 視覚的・音声的データの時間的同期により、個々の人物が実際に話しているタイミングを検出可能となった。
• 本手法は、高度な信号処理応用に適した詳細かつリアルタイムな音声・映像シーンの記述を提供する。