[논문 리뷰] Absolute Geometry Calibration of Distributed Microphone Arrays in an Audio-Visual Sensor Network

Florian Jacob, Reinhold Haeb‐Umbach|arXiv (Cornell University)|2015. 04. 13.

Speech and Audio Processing참고 문헌 18인용 수 3

한 줄 요약

이 논문은 음향-시각 센서 네트워크에서 분산 마이크로폰 어레이의 절대 기하학적 캘리브레이션을 위한 두 가지 방법을 제안한다. 주로 양 모달리티에서의 동시 방향도도착(DoA) 측정치를 활용한 음향-시각 상관관계를 기반으로 한다. 첫 번째 방법은 음향 센서 위치를 궤적 정렬을 통해 시각 좌표계로 매핑하는 방식이며, 두 번째 방법은 비선형 방정식의 연립계를 통해 음향 센서 위치를 동시에 추정하는 방식이다. 연립 캘리브레이션 방법은 고리버브레이션 환경에서도 평균 위치 오차 0.20 m를 달성한다.

ABSTRACT

Joint audio-visual speaker tracking requires that the locations of microphones and cameras are known and that they are given in a common coordinate system. Sensor self-localization algorithms, however, are usually separately developed for either the acoustic or the visual modality and return their positions in a modality specific coordinate system, often with an unknown rotation, scaling and translation between the two. In this paper we propose two techniques to determine the positions of acoustic sensors in a common coordinate system, based on audio-visual correlates, i.e., events that are localized by both, microphones and cameras separately. The first approach maps the output of an acoustic self-calibration algorithm by estimating rotation, scale and translation to the visual coordinate system, while the second solves a joint system of equations with acoustic and visual directions of arrival as input. The evaluation of the two strategies reveals that joint calibration outperforms the mapping approach and achieves an overall calibration error of 0.20m even in reverberant environments.

연구 동기 및 목표

• 시각 센서 위치는 알려져 있으나 좌표계가 정렬되어 있지 않은 경우 음향 센서 네트워크 캘리브레이션에서 척도 모호성을 해결하기 위해.
• 시계 동기화나 인위적 캘리브레이션 신호 없이도 분산 마이크로폰 어레이의 절대 기하학적 캘리브레이션을 가능하게 하기 위해.
• 음향-시각 상관관계(예: 양 모달리티에서의 연설자 DoA 추정치)를 활용하여 리버브레이션 환경에서의 캘리브레이션 정확도를 향상시키기 위해.
• 좌표 매핑 전략과 음향 및 시각 DoA 측정치를 통합한 공동 추정 전략을 비교하기 위해.
• 다양한 리버브레이션 시간 조건 하에서 성능을 평가하고, 실제 DoA 추정 모델을 기반으로 한 강건성을 입증하기 위해.

제안 방법

• 시간 도착 또는 시간 도착 차이 동기화가 필요 없도록, 음향 및 시각 센서에서의 방향도도착(DoA) 추정치를 입력으로 사용한다.
• 음향 및 시각 좌표계 간의 회전, 이동, 척도를 추정하기 위해 음향 DoA 데이터에서 유도된 연설자 궤적을 정렬하는 좌표 매핑 방법을 적용한다.
• 음향 및 시각 DoA 측정치를 조합한 비선형 방정식의 연립계를 수립하여 음향 센서 위치를 동시에 추정하는 공동 캘리브레이션 방법을 개발한다.
• 이상치를 제거하기 위해 RANSAC 알고리즘을 적용하여 음향 및 시각 DoA 추정치의 정확도를 향상시킨다.
• HOG 및 SVM 분석을 기반으로 한 AV16.3 코퍼스의 은닉 마크وف 모델(HMM)을 사용하여 시각 DoA 오차를 시뮬레이션한다. 상태로는 탐지, 탐지 실패, 오진 탐지가 포함된다.
• 실시간으로 움직이는 연설자를 추적할 수 있도록, 적응형 필터링을 적용한 필터-합기반 beamformer를 사용하여 시간에 따라 음향 DoA를 추정한다.

실험 결과

연구 질문

• RQ1 음향-시각 상관관계를 효과적으로 활용하여 음향 센서 네트워크 캘리브레이션에서 발생하는 척도 모호성을 해결할 수 있는가?
• RQ2 음향 및 시각 DoA 측정치를 공동으로 사용한 캘리브레이션과 좌표 매핑 방법 간의 정확도 및 강건성은 어떻게 비교되는가?
• RQ3 리버브레이션은 음향-시각 센서 네트워크에서 DoA 기반 캘리브레이션 방법의 성능에 어떤 영향을 미치는가?
• RQ4 RANSAC 기반 이상치 제거는 노이즈가 많은 DoA 추정치가 존재할 경우 캘리브레이션 정확도를 얼마나 향상시키는가?
• RQ5 적절하게 분포된 소수의 공간 이벤트로도 전체 궤적 캘리브레이션 성능과 유사한 성능을 달성할 수 있는가?

주요 결과

• 공동 캘리브레이션 방법은 모든 리버브레이션 시간에서 좌표 매핑 방법을 능가하며, 고리버브레이션 환경(500 ms RT60)에서도 평균 위치 오차(MPE) 0.20 m를 달성한다.
• 좌표 매핑 방법은 척도 추정 오차가 심각하게 영향을 미치며, 특히 저리버브레이션 조건에서 성능이 떨어진다.
• 척도 인자가 알려진 오라클 실험에서 좌표 매핑 방법은 저리버브레이션 조건에서 공동 방법과 거의 유사한 성능을 보이며, 척도 오차가 주요 제약 요소임을 확인한다.
• 모든 리버브레이션 시간 동안 두 방법 모두 센서 방향 오차가 2° 이하로 유지되어 고정밀 각도 정확도를 확보한다.
• 좋은 공간 분포를 가진 15개의 전략적 선택 이벤트만으로도 공동 캘리브레이션 방법이 전체 궤적 캘리브레이션 성능과 유사한 결과를 달성하여, 이벤트 기하학적 배치의 중요성이 양보다 더 크다는 것을 입증한다.
• 공동 캘리브레이션 방법은 300 ms RT60에서 일관된 MPE 0.14 m, 500 ms RT60에서 MPE 0.23 m를 유지하여 리버브레이션에 대한 강건성을 보여준다.