[논문 리뷰] dEchorate: a Calibrated Room Impulse Response Database for Echo-aware Signal Processing

Diego Di Carlo, Pinchas Tandeitnik외 4명|arXiv (Cornell University)|2021. 04. 27.

Speech and Audio Processing참고 문헌 61인용 수 4

한 줄 요약

dEchorate는 다양한 벽 구성을 가진 상자형 실내에서 캘리브레이션된 다중채널 방 인력응답(RIR) 데이터베이스로, 초기 에코 도착 시간과 소스, 마이크, 이미지 소스의 3차원 위치에 대한 정밀한 애너테이션을 포함한다. 이 데이터베이스를 통해 에코 인식 신호 처리 방법의 벤치마킹이 가능하며, 4개의 소스를 사용할 경우 실내 기하학적 구조 추정에서 평균 거리 오차 1.15 cm와 각도 오차 2.6°를 달성하여 에코 기반 오디오 처리 작업의 높은 정확도를 입증한다.

ABSTRACT

This paper presents dEchorate: a new database of measured multichannel Room Impulse Responses (RIRs) including annotations of early echo timings and 3D positions of microphones, real sources and image sources under different wall configurations in a cuboid room. These data provide a tool for benchmarking recent methods in echo-aware speech enhancement, room geometry estimation, RIR estimation, acoustic echo retrieval, microphone calibration, echo labeling and reflectors estimation. The database is accompanied with software utilities to easily access, manipulate and visualize the data as well as baseline methods for echo-related tasks.

연구 동기 및 목표

• 에코 인식 오디오 신호 처리를 위한 공개 가능하고 고도로 캘리브레이션된 RIR 데이터베이스를 제공함으로써 정밀한 에코 도착 시간과 공간적 애너테이션을 확보한다.
• 실제 환경 조건에서 음향 에코 회수(AER), 실내 기하학적 구조 추정(RooGE), 음성 강화(SE) 분야의 방법에 대한 벤치마킹을 지원한다.
• RT60, SNR, 표면 반사율, 초기 에코 밀도의 변동에 대한 강인성 검증을 가능하게 한다.
• 실제 측정 자료를 기반으로 마이크 캘리브레이션, 반사체 추정, 에코 레이블링 연구를 촉진한다.

제안 방법

• 데이터베이스는 11개의 마이크 위치와 6개의 소스 위치를 가진 제어된 상자형 실내에서 캘리브레이션된 투과소자와 정밀한 3차원 위치 측정을 통해 기록되었다.
• 초기 에코는 이미지 소스 방법(ISM)을 사용하여 애너테이션 처리되었으며, 실제 반사체에 대한 가상 소스 위치와 에코 도착 시간(ToA)을 연결하였다.
• 다양한 벽 흡음 및 반사 구성 조건에서 1,800개의 RIR이 포함되어 있으며, 소스, 마이크, 벽의 위치에 대한 정확한 메타데이터가 제공된다.
• RIR에 접근하고 시각화하며 조작할 수 있는 소프트웨어 툴킷이 개발되었으며, AER 및 RooGE 작업을 위한 기준 구현도 포함되어 있다.
• 고신호 대비비와 정확한 인력응답 추정을 확보하기 위해 지수적 스위프 싱널(ESS) 신호를 사용하여 RIR을 측정하였다.
• 에코 애너테이션의 이방성은 방향성 효과, 원거리 가정 위반, 중첩 반사 등으로 인한 것으로 분석되었다.

실험 결과

연구 질문

• RQ1 실제 RIR에 애너테이션 처리된 초기 에코가 포함된 데이터를 사용할 때, 에코 인식 신호 처리 방법은 실내 기하학적 구조를 얼마나 정확하게 추정할 수 있는가?
• RQ2 모의된 RIR과 실제 RIR 간의 불일치가 학습 기반 오디오 처리 모델의 성능에 어느 정도 영향을 미치는가?
• RQ3 저에너지 반사, 중첩된 에코 또는 방향성 효과가 존재하는 환경에서 강인한 에코 레이블링이 가능할 수 있는가?
• RQ4 표면 흡음, RT60, 마이크-소스 간 거리의 변화가 에코 기반 처리의 신뢰성에 어떤 영향을 미치는가?
• RQ5 모의 RIR에서 실제 RIR로의 매핑은 도메인 적응 또는 스타일 전이 기법을 통해 학습이 가능한가?

주요 결과

• 4개의 소스 데이터를 사용할 경우 실내 기하학적 구조 추정 파이프라인은 평균 거리 오차(DE) 1.15 cm와 각도 오차(AE) 2.6°를 달성하여 높은 정확도를 입증하였다.
• 1,800개의 RIR 중에서 에코 레이블링 이방성은 총 2건으로, 모두 첫 번째 순서 반사가 잘못 애너테이션된 소스의 방향성으로 인한 것이었다.
• 데이터셋은 소스 배경에 있는 첫 번째 순서 반사가 RIR에 너무 약하게 나타나지 않아 두 번째 순서 이미지 소스가 잘못 선택되는 경우가 있음을 드러냈다.
• 마이크 및 loudspeaker의 장기 인력응답으로 인한 후기 반사성 스파이크로 인해 일부 경우에서 에코 성분이 잘못 분류되었다.
• RT60, SNR, 에코 밀도의 변화에 대응하는 강인한 벤치마킹을 지원하여 방법의 강인성 평가가 가능하다.
• 모의 및 실제 RIR 쌍의 가용성은 학습 기반 음향 시뮬레이터를 위한 도메인 적응 기법 개발의 길을 열어준다.