[논문 리뷰] Putting a Face to the Voice: Fusing Audio and Visual Signals Across a Video to Determine Speakers

Ken Hoover, Sourish Chaudhuri외 3명|arXiv (Cornell University)|2017. 05. 31.

Speech and Audio Processing참고 문헌 16인용 수 32

한 줄 요약

이 논문은 특정 화자에 대한 레이블이 없는 사전 학습 모델만을 사용하여, 비정형 영상에서 음성과 얼굴을 융합함으로써 화자 식별을 위한 훈련이 필요 없는 약한 지도 학습 방법을 제안한다. 이 방법은 실생활 유튜브 데이터셋에서 화자 식별 정확도 71%를 달성하였으며, 화면 외부의 화자나 다수의 화자에 대해서도 사전 가정 없이 효과적으로 대응한다.

ABSTRACT

In this paper, we present a system that associates faces with voices in a video by fusing information from the audio and visual signals. The thesis underlying our work is that an extremely simple approach to generating (weak) speech clusters can be combined with visual signals to effectively associate faces and voices by aggregating statistics across a video. This approach does not need any training data specific to this task and leverages the natural coherence of information in the audio and visual streams. It is particularly applicable to tracking speakers in videos on the web where a priori information about the environment (e.g., number of speakers, spatial signals for beamforming) is not available. We performed experiments on a real-world dataset using this analysis framework to determine the speaker in a video. Given a ground truth labeling determined by human rater consensus, our approach had ~71% accuracy.

연구 동기 및 목표

• 특정 화자에 대한 레이블이 없는 훈련 데이터가 필요 없이, 웹 영상에서 음성과 얼굴을 자동으로 연결하는 시스템을 개발하는 것.
• 화면 외부 화자, 다수의 화자, 또는 참가자 수가 알려지지 않은 상황에서도 영상에서 화자 식별을 가능하게 하는 것.
• 영상 전반에 걸쳐 음성과 시각 신호의 자연스러운 일관성을 활용하여, 약한 음성 클러스터링과 강력한 얼굴 클러스터링을 통해 화자 다이어라이제이션을 향상시키는 것.
• 오픈 웹 영상 콘텐츠에 적용 가능한 실용적이고 확장 가능한 화자 식별 솔루션을 제공하는 것. 이는 대규모 영상 이해에 적합하다.

제안 방법

• 시스템은 사전 학습된 FaceNet 모델을 사용하여 얼굴를 감지하고 128차원 벡터로 임bedding하여 영상 전반에 걸쳐 얼굴 클러스터링을 수행함으로써 일관된 개인을 식별한다.
• 음성은 화자 레이블 없이 음성 활동과 유사도 기반 클러스터링을 활용하는 약한 음성 다이어라이제이션 시스템을 통해 처리된다.
• 이 방법은 영상 전반에 걸쳐 증거를 집계하여 음성 세그먼트와 얼굴를 연동한다: 얼굴가 특정 음성 세그먼트 기간 동안 자주 나타나면 그 세그먼트와 연결된다.
• 화자 전환 기간 동안 가장 일관되게 존재하는 얼굴가 화자로 식별되며, 이는 화자 위치가 화면 외부일 경우에도 가능하다. 시간적 정렬과 시각적 지속성 정보를 활용한다.
• 이 방법은 음성 동기화, 공간 정보, 얼굴 대면 정렬 등의 요구 조건이 없어 실제 영상의 다양한 변형에 대해 강건하다.
• 성능 평가는 400개의 유튜브 영상에서 추출한 3558개 클립에 대해 인간 평가자 공약 작업을 통해 수행되었으며, 간판 평가자 간 일致도(Fleiss’ kappa)는 0.732였다.

실험 결과

연구 질문

• RQ1 레이블이 없는 훈련 데이터가 필요 없이, 약한 음성 클러스터링과 강력한 시각적 얼굴 클러스터링을 효과적으로 융합하여 비정형 영상에서 화자를 식별할 수 있는가?
• RQ2 화자 전환 시 화면 외부에 있거나 카메라를 향하지 않을 경우, 시스템은 얼마나 잘 화자를 식별할 수 있는가?
• RQ3 영상 전반에 걸쳐 시각적 및 음성 신호를 집계함으로써, 무작위 추측 수준을 초월해 화자 식별 성능을 얼마나 향상시킬 수 있는가?
• RQ4 시스템의 주요 실패 원인은 무엇이며, 이는 화자 전환 가정과 어떻게 관련되어 있는가?

주요 결과

• 실생활 유튜브 데이터셋에서 화자 식별 정확도가 71%에 도달하였으며, 이는 무작위 추측 기준(20%)보다 뚜렷이 높은 성능이다.
• 오류 사례의 65%에서 화면 외부 화자도 성공적으로 식별하였으며, 이는 시각적 부재에 대한 강건성을 시사한다.
• 주요 실패 원인은 명확한 전환 경계가 없는 겹치는 음성으로, 이 경우 시스템은 이를 하나의 음성 세그먼트로 처리하여 오류의 65%를 차지한다.
• 인간 평가자 간 간판 평가자 간 일치도는 상당한 수준(Fleiss’ kappa = 0.732)을 보였으며, 이는 작업의 난이도와 평가의 신뢰성을 확인한다.
• 시스템은 화자 수, 녹음 환경, 스크립트 정보에 대한 사전 지식 없이도 작동하므로 오픈 웹 영상 분석에 적합하다.
• 결과적으로, 약한 음성 신호와 강력한 시각적 얼굴 클러스터링을 융합하는 방법은 실생활 영상에서 화자 식별에 강력하고 확장 가능한 솔루션을 제공한다.