[논문 리뷰] Audio Surveillance: a Systematic Review

Marco Crocco, Marco Cristani외 2명|arXiv (Cornell University)|2014. 09. 27.

Music and Audio Processing인용 수 32

한 줄 요약

이 논문은 청각 기반 자동 감시에 대한 최초의 체계적 리뷰를 제시하며, 배경 추출, 사고 분류, 물체 추적, 상황 분석을 포함하는 통합 분류 체계로 방법을 체계화한다. 청각 특징, 알고리즘 및 응용 분야별 강점을 평가하며, 소음 및 개인정보 보호 문제와 같은 과제에도 불구하고 실제 감시 작업에 최적의 방법을 선택하는 데 도움이 되는 의사결정 표를 제공한다.

ABSTRACT

Despite surveillance systems are becoming increasingly ubiquitous in our living environment, automated surveillance, currently based on video sensory modality and machine intelligence, lacks most of the time the robustness and reliability required in several real applications. To tackle this issue, audio sensory devices have been taken into account, both alone or in combination with video, giving birth, in the last decade, to a considerable amount of research. In this paper audio-based automated surveillance methods are organized into a comprehensive survey: a general taxonomy, inspired by the more widespread video surveillance field, is proposed in order to systematically describe the methods covering background subtraction, event classification, object tracking and situation analysis. For each of these tasks, all the significant works are reviewed, detailing their pros and cons and the context for which they have been proposed. Moreover, a specific section is devoted to audio features, discussing their expressiveness and their employment in the above described tasks. Differently, from other surveys on audio processing and analysis, the present one is specifically targeted to automated surveillance, highlighting the target applications of each described methods and providing the reader tables and schemes useful to retrieve the most suited algorithms for a specific requirement.

연구 동기 및 목표

• 저조도, 그림자, 기상 간섭과 같은 악조건에서 영상 중심 감시의 한계를 해결하기 위해.
• 청각을 자동 감시의 보완 또는 대체 감각 모드로 활용하여 내구성과 낮은 데이터 비용의 이점을 극대화하기 위해.
• 저수준 처리에서 의미적 장면 분석에 이르기까지 청각 기반 감시 방법에 대한 포괄적이고 응용 중심의 분류 체계를 제공하기 위해.
• 개인정보가 민감한 환경을 포함한 실제 감시 시나리오에서 다양한 청각 처리 기법의 장단점을 평가하기 위해.
• 특정 응용 요구사항에 기반하여 가장 적합한 청각 기반 방법을 선택하는 데 도움이 되는 실용적 의사결정 도구(표 및 다이어그램)를 제공하기 위해.

제안 방법

• 영상 감시에 영감을 얻은 체계적 분류 체계를 제안하며, 청각 감시를 배경 추출, 사고 분류, 물체 추적, 상황 분석의 네 가지 핵심 작업으로 체계화한다.
• 기존의 청각 기반 방법을 검토하고 분류하며, 특정 감시 환경과 운영 제약 조건에 대한 적합성을 강조한다.
• 스펙트럼, 시간적, 에너지 기반 표현을 포함한 청각 특징의 표현력과 활용가치를 분석한다.
• 사건 탐지에 적합한 특징 학습 기법(예: Bag-of-Aural-Words(BoAW), HMM 기반 모델링, 사전 학습 기반 학습(예: 가보 원자, NMF, PCA))을 검토한다.
• 지도 학습 및 비지도 학습 접근법을 평가하며, 신뢰도 추정을 위한 LVQ 및 반복되는 청각 이벤트 탐지를 위한 무늬 탐지 기법을 포함한다.
• 학습된 사전와 고정 사전 간의 비교를 통해 일반화 능력, 복잡성, 소음 하에서의 성능 간의 상충 관계를 분석한다.

실험 결과

연구 질문

• RQ1 영상 감시 분류 체계를 모방하여 감시 프레임워크 내에서 청각 기반 방법을 어떻게 시스템적으로 분류할 수 있는가?
• RQ2 실제 감시 환경에서 배경 추출 및 사고 분류와 같은 저수준 작업에 가장 효과적인 청각 특징과 처리 기법은 무엇인가?
• RQ3 특히 소음이 많거나 개인정보 보호가 중요한 환경에서 지도 학습 대비 비지도 학습 접근법의 장점과 한계는 무엇인가?
• RQ4 예: BoAW, HMM, 고정 사전 등 다양한 특징 표현 전략이 청각 이벤트 탐지의 강건성과 정확성에 어떤 영향을 미치는가?
• RQ5 특정 응용 시나리오에 적합한 특정 청각 감시 방법을 선택할 때 고려해야 할 기준은 무엇인가?

주요 결과

• 영상 중심 시스템에 비해 청각 감시는 전방위적 감지, 조도 및 온도 변화에 대한 저항성, 낮은 데이터 대역폭 요구량 등의 뚜렷한 이점이 있다.
• Bag-of-Aural-Words(BoAW) 접근법은 낮은 소음 환경에서도 비명, 총성, 유리 파손과 같은 복잡한 청각 이벤트를 강력하게 분류할 수 있다.
• 무늬 탐지 및 HMM 기반 모델링과 같은 비지도 학습 방법은 사전 레이블링 없이도 반복되는 청각 이벤트를 탐지할 수 있어 적응성 향상에 기여한다.
• 가보 원자나 NMF를 사용한 고정 사전 접근법은 학습된 사전보다 더 우수한 일반화 성능을 보이지만, 더 큰 과잉표본 표현이 필요하다.
• LVQ 기반 분류에서 신뢰도 기반 필터링은 모호한 예측을 제거하고 높은 신뢰도의 프레임에 대해 다수결정 방식을 적용함으로써 신뢰성을 향상시킨다.
• 개인정보 보호 문제에도 불구하고 청각 모니터링은 영상보다 침해감이 적다고 인식되어 주거지, 은행, 엘리베이터와 같은 민감한 환경에 적합하다.