[논문 리뷰] SoundCam: A Dataset for Finding Humans Using Room Acoustics

Mason Wang, S.D. Clarke외 3명|arXiv (Cornell University)|2023. 11. 06.

Speech and Audio Processing인용 수 4

한 줄 요약

SoundCam는 실제 환경에서 촬영한 3개의 다양한 실내 환경에서 5,000개의 10채널 RIR과 2,000개의 음악 녹음을 포함하는, 현재까지 공개된 바 중 가장 큰 실세계 방 임펄스 응답(RIR) 데이터셋을 제공한다. 이 데이터셋을 통해 다중마ic로 구성된 RIR을 활용해 인간을 30cm 이내로 국소화하는 기계학습 기반 방법을 구현할 수 있으나, 마이크 수가 적거나 알려지지 않은 소스 신호가 존재할 경우 성능이 저하된다.

ABSTRACT

A room's acoustic properties are a product of the room's geometry, the objects within the room, and their specific positions. A room's acoustic properties can be characterized by its impulse response (RIR) between a source and listener location, or roughly inferred from recordings of natural signals present in the room. Variations in the positions of objects in a room can effect measurable changes in the room's acoustic properties, as characterized by the RIR. Existing datasets of RIRs either do not systematically vary positions of objects in an environment, or they consist of only simulated RIRs. We present SoundCam, the largest dataset of unique RIRs from in-the-wild rooms publicly released to date. It includes 5,000 10-channel real-world measurements of room impulse responses and 2,000 10-channel recordings of music in three different rooms, including a controlled acoustic lab, an in-the-wild living room, and a conference room, with different humans in positions throughout each room. We show that these measurements can be used for interesting tasks, such as detecting and identifying humans, and tracking their positions.

연구 동기 및 목표

• 실제 환경에서 인간의 위치와 신원을 체계적으로 변화시키며 음향적 변화를 측정한 실세계, 실외 환경의 RIR 데이터셋이 부족한 문제를 해결하기 위해.
• 방 임펄스 응답(RIR)을 환경 상태의 대체 지표로 활용하여 음성 기반 인간 탐지, 국소화 및 식별에 관한 연구를 가능하게 하기 위해.
• 실제 조건(예: 가림, 알려지지 않은 소스 신호 포함)에서 음성 기반 방법의 강건성 평가를 위한 벤치마크를 제공하기 위해.
• 시각 기반 추적에서의 시각 데이터 수집을 피함으로써 개인정보 보호 기반 실내 센싱을 지원하기 위해.
• 악성 사용 위험을 줄이기 위해 공개 데이터셋과 벤치마크를 제공함으로써 방어 기술 개발을 촉진하기 위해.

제안 방법

• 3개의 다른 실내 환경(통제된 음향 실험실, 실제 거실, 회의실)에서 10채널(다중마이크) 방 임펄스 응답(RIR) 총 5,000건을 촬영.
• 각 실내 환경에서 2~5명의 인간 주체의 위치와 신원을 체계적으로 변화시키며, 고정된 loudspeaker 및 마이크 쌍으로부터 RIR을 측정.
• 동일한 주제 위치를 유지한 채로 동일한 실내 환경에서 2,000건의 추가적인 10채널 음악 신호를 녹음하여 자연스럽고 비임펄스적 소스 신호로 테스트할 수 있도록 준비.
• 모든 RIR 및 음성 녹음에 대해 소스, 수신기, 인간 주체의 위치 및 신원에 대한 정밀한 메타데이터를 주석 처리.
• 다중마이크 및 단일마이크 설정을 활용해 인간 국소화 및 식별을 위한 딥러닝 모델을 훈련 및 평가.
• 실제 환경 일반화 능력을 평가하기 위해, 마이크 수 감소 및 알려지지 않은 소스 신호 설정을 포함한 아블레이션 설정에서 모델 성능을 평가.

실험 결과

연구 질문

• RQ1 다중마이크 설정을 사용할 경우 실세계 RIR을 활용해 실내 환경에서 인간을 30cm 이내로 국소화할 수 있는가?
• RQ2 단일 마이크 또는 음악과 같은 알려지지 않은 소스 신호를 사용할 경우 성능은 어떻게 저하되는가?
• RQ3 음성 기반 모델이 새로운 개인과 실내 구조에 대해 얼마나 잘 일반화되는가?
• RQ4 음악과 같은 자연스러운 소스 신호에서 유도된 RIR을 사용해 실내에 인간이 존재하는지 높은 정확도로 탐지할 수 있는가?
• RQ5 오직 음향 서명만을 활용해 그룹 내 개인을 식별하는 음성 기반 방법은 얼마나 효과적인가?

주요 결과

• 딥러닝 기반 모델은 10채널 RIR을 사용할 경우 인간 국소화 오차를 30cm 이내로 유지하여 다중마이크 조건에서 높은 정확도를 입증한다.
• 단일 마이크만을 사용할 경우 성능이 크게 저하되며, 공간적 다양성이 제한되어 국소화 정확도가 떨어진다.
• 모든 10개 마이크를 사용하고 알려지지 않은 음악을 소스 신호로 사용할 경우, 최고의 베이스라인 모델이 인간 존재를 67%의 정확도로 탐지한다.
• 5명의 개인 중에서 신원을 식별할 경우, 최고의 모델이 모든 10개 마이크를 사용할 때 82%의 정확도를 기록하여 신원 식별 잠재력이 높음을 시사한다.
• 마이크 수를 4개, 2개, 1개로 줄일 경우, 국소화 및 식별 작업 전반에서 성능 저하가 일관되게 발생함을 확인하여, 고밀도 마이크 어레이의 중요성을 강조한다.
• 이 데이터셋은 시각 데이터 수집과 관련된 개인정보 위험을 피할 수 있는 오직 음성 기반 추적을 가능하게 하여, 개인정보 보호 기반 실내 센싱 시스템 개발을 지원한다.