[논문 리뷰] Variational Bayesian Inference for Audio-Visual Tracking of Multiple Speakers

Yutong Ban, Xavier Alameda-Pineda외 2명|arXiv (Cornell University)|2018. 09. 28.

Speech and Audio Processing참고 문헌 36인용 수 5

한 줄 요약

이 논문은 동적이고 비공식적인 회의에서 다수의 화자에 대한 청각-시각 추적을 위한 변분 베이지안 추론 프레임워크를 제안한다. 시각적 및 청각적 관측을 잠재변수 시간 그래픽 모델로 모델링함으로써, 누락되거나 노이즈가 있는 데이터를 처리할 수 있는 타당한 변분 EM 알고리즘을 사용하여 화자 궤적, 관측-화자 할당, 음성 상태(발화/정적)를 동시에 추정한다.

ABSTRACT

In this paper we address the problem of tracking multiple speakers via the fusion of visual and auditory information. We propose to exploit the complementary nature of these two modalities in order to accurately estimate smooth trajectories of the tracked persons, to deal with the partial or total absence of one of the modalities over short periods of time, and to estimate the acoustic status -- either speaking or silent -- of each tracked person along time. We propose to cast the problem at hand into a generative audio-visual fusion (or association) model formulated as a latent-variable temporal graphical model. This may well be viewed as the problem of maximizing the posterior joint distribution of a set of continuous and discrete latent variables given the past and current observations, which is intractable. We propose a variational inference model which amounts to approximate the joint distribution with a factorized distribution. The solution takes the form of a closed-form expectation maximization procedure. We describe in detail the inference algorithm, we evaluate its performance and we compare it with several baseline methods. These experiments show that the proposed audio-visual tracker performs well in informal meetings involving a time-varying number of people.

연구 동기 및 목표

• 시각적 및 청각적 관측이 자주 불완전하거나 손상되는 비공식적인 회의에서 다수 화자를 추적하는 데 도전하는 문제를 해결한다.
• 시각적 및 청각적 모odalities의 상호보완적 강점을 활용하여 가림, 반향 및 겹치는 말소리 상황에서도 추적의 강건성을 향상시킨다.
• 시간에 따라 연속적인 화자 궤적, 이산적인 관측-화자 할당, 음성 상태(발화/정적)를 동시에 추정한다.
• 정확한 베이지안 추론으로는 처리가 불가능한 복잡한 고차원 사후 분포에 대해 계산적으로 타당한 추론 방법을 개발한다.
• 신규 화자를 이전에 관측하지 않은 상태에서 탐지할 수 있도록 태생 과정을 포함한 인과적 실시간 추적을 가능하게 한다.

제안 방법

• 연속(위치, 속도) 및 이산(할당, 음성 상태) 잠재변수를 포함한 생성적 잠재변수 시간 그래픽 모델로 청각-시각 추적 문제를 수립한다.
• 복잡한 결합 사후 분포를 더 단순하고 처리 가능한 분포의 곱으로 분해함으로써, 비가역적인 사후 분포를 근사하기 위해 변분 추론을 적용한다.
• 사후 분포 추정(E단계)과 모델 파라미터 업데이트(M단계)를 번갈아가며 수행하는 변분 기대최대화(VEM) 알고리즘을 유도한다.
• E단계에서 평균과 공분산에 대한 닫힌 형태의 업데이트를 위해 화자 상태 전이 및 관측 가능도에 대해 가우시안 프로세스 사전분포를 사용한다.
• 청각 특징은 채널 간 스펙트럼 특징과 밴드 분해를 사용하고, 청각 특징을 공간 위치로 매핑하기 위해 혼합가우시안모형(GMM)을 사용한다.
• 누락된 관측에 대한 균일한 사전분포를 가진 null 할당 상태(n=0)를 통해 태생 과정을 통합하여 새로운 화자를 탐지한다.

실험 결과

연구 질문

• RQ1 부분적 또는 완전한 센서 고장 상황에서도 청각적 및 시각적 모달리티를 효과적으로 융합하여 다수 화자 추적의 강건성을 향상시킬 수 있는가?
• RQ2 단일 생성 모델이 최소한의 히ュ리스틱 임계값을 사용하여 화자 궤적, 관측 할당, 음성 상태(발화/정적)를 동시에 추정할 수 있는가?
• RQ3 제안된 변분 추론 프레임워크가 노이즈가 많거나 불완전한 데이터 상황에서 추적 정확도와 강건성 면에서 기준 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 시간에 따라 참가자 수가 변하는 동적 회의에서 모델이 화자 태생(신규 도착)과 사라짐(퇴장)을 얼마나 잘 다루는가?
• RQ5 밴드 분해 및 GMM 기반 청각-위치 매핑을 사용할 경우 정위치 정확도와 추적 안정성에 어떤 영향을 미치는가?

주요 결과

• 제안된 변분 베이지안 트래커는 특히 가림 및 반향 상황과 같은 도전적인 조건에서 기준 방법에 비해 추적 정확도 및 화자 다이아라이제이션 측면에서 뛰어난 성능을 발휘한다.
• 모델은 한 모달리티에서의 누락되거나 손상된 데이터를 다른 모달리티의 상호보완적 정보에 의존함으로써 효과적으로 처리하여, 일시적인 센서 장애 동안에도 안정적인 추적을 유지한다.
• 태생 과정의 통합으로 사전에 설정된 화자 수나 외부 초기화가 필요 없이 새로운 화자를 탐지할 수 있다.
• 밴드 분해 및 GMM 기반 청각-위치 매핑의 사용은 특히 반향 환경에서 정위치 정확도를 크게 향상시킨다.
• VEM 알고리즘은 효율적으로 수렴하며, 동적 사회적 상호작용에 적합한 인과적 실시간 추적 솔루션을 제공한다.
• 정량적 평가 결과, 벤치마크 데이터셋에서 최신 기술 대비 화자 다이아라이제이션 F1 점수 향상과 다중 객체 추적(MOT) 오차 감소가 확인되었다.