[논문 리뷰] Acoustic event detection for multiple overlapping similar sources

Dan Stowell, David F. Clayton|arXiv (Cornell University)|2015. 03. 24.

Music and Audio Processing참고 문헌 8인용 수 4

한 줄 요약

이 논문은 다성분의 겹치는 자연 음향, 특히 제브라 펠리치의 부르는 소리에서 음향 이벤트 검출을 위한 온셋-지속-오프셋(ODO) 모델을 제안한다. 여기서 여러 개의 동일한 소스가 동시에 부를 수 있다. 고정된 다성분성 또는 엄격한 시간 패턴을 가정하지 않고 온셋, 지속, 오프셋을 확률적으로 모델링함으로써 ODO 방법은 HMM 기반 접근보다 더 높은 정확도와 강인성을 달성하였으며, 특히 겹침이 심한 상황에서의 이벤트 수세기 및 전사 작업에서 뛰어난 성능을 보였다.

ABSTRACT

Many current paradigms for acoustic event detection (AED) are not adapted to the organic variability of natural sounds, and/or they assume a limit on the number of simultaneous sources: often only one source, or one source of each type, may be active. These aspects are highly undesirable for applications such as bird population monitoring. We introduce a simple method modelling the onsets, durations and offsets of acoustic events to avoid intrinsic limits on polyphony or on inter-event temporal patterns. We evaluate the method in a case study with over 3000 zebra finch calls. In comparison against a HMM-based method we find it more accurate at recovering acoustic events, and more robust for estimating calling rates.

연구 동기 및 목표

• 기존의 음향 이벤트 검출(AED) 방법이 단성분 환경이나 동시에 발생하는 소스의 수를 고정한다고 가정하는 한계를 해결한다.
• 자연 음향, 예를 들어 겹치는 새의 부르는 소리와 같은 유기적인 변동성과 높은 다성분성을 견디는 방법을 개발한다.
• 유사한 소스의 수가 알려져 있지 않은 녹음에서 정확한 이벤트 수세기 및 전사를 가능하게 한다. 이는 생태 모니터링에 관련이 있다.
• 실제적인 복잡한 음향 조건에서 성능을 평가하기 위해 대규모 제브라 펠리치 부르는 소리 데이터셋을 기반으로 방법을 평가한다.

제안 방법

• 온셋 시간 $ t $ 와 지속 시간 $ \tau $ 로 정의된 이중 차원 공간을 사용하여 음향 이벤트를 모델링하며, 후행 확률 $ p_{\text{evt}}(t,\tau|\mathbf{y}) \propto p_{\text{on}}(t|\mathbf{y}) \, p_{\text{off}}(t+\tau|\mathbf{y}) \, p_{\text{dur}}(\tau) $ 를 사용한다.
• 시간 차분 스펙트로그램에서 온셋 및 오프셋 검출 확률을 추정하기 위해 랜덤 포레스트 회귀를 사용한다.
• 정확도와 강인성을 향상시키기 위해 이벤트 지속 시간에 대한 가우시안 믹스처 모델(GMM) 사전 분포를 학습한다.
• 온셋, 오프셋, 지속 시간의 확률을 통합하여 무한한 다성분성을 허용하는 확률적 프레임워크를 구축한다.
• 제브라 펠리치 부르는 소리 데이터셋에서 교차 검증을 통해 ODO 모델을 인라인 HMM 기반 시스템과 ODO+HMM 통합 시스템과 비교한다.
• 노이즈 감소를 위해 스펙트럼 중앙값 제거를 적용하고, 2048점 프레임을 사용하며 50% 겹침이 있는 하난 창을 사용한 스펙트로그램을 사용한다.

Figure 1: Schematic diagram of onset-duration-offset event detection model.

실험 결과

연구 질문

• RQ1 확률적 온셋-지속-오프셋 모델은 다성분 자연 음향 환경에서 HMM 기반 방법보다 겹치는 음향 이벤트를 더 정확하게 검출할 수 있는가?
• RQ2 학습된 지속 시간 사전 분포를 통합할 경우, 높은 변동성과 다성분성의 영향을 받는 검출 성능에 어떤 영향을 미치는가?
• RQ3 훈련 데이터와 테스트 데이터 간의 이벤트 밀도 차이에 대해 ODO 모델은 어느 정도 강인한가?
• RQ4 ODO 모델은 이벤트 전사 및 이벤트 수세기 작업 모두에서 HMM 기반 시스템을 능가하는가?
• RQ5 고정된 동시에 발생하는 소스 수를 가정하지 않고 ODO 모델은 무한한 다성분성을 효과적으로 처리할 수 있는가?

주요 결과

• ODO 모델은 이벤트 전사 작업에서 약 37%의 F-측정값을 기록하였으며, 유사 작업의 최신 기술 수준과 비슷한 성능을 보였다.
• 학습된 GMM 지속 시간 사전 분포를 가진 ODO 모델은 평탄한 지속 시간 사전 분포를 가진 버전보다 유의미하게 뛰어난 성능을 보였으며, 지속 시간 변동성을 모델링하는 것이 유의미한 가치가 있음을 입증하였다.
• HMM 기반 시스템은 전사 및 수세기 작업 모두에서 ODO 모델보다 뚜렷하게 열등했으며, 특히 훈련 및 테스트 조건이 일치하지 않을 경우 성능 저하가 심했다.
• ODO+HMM 통합 시스템은 독립형 HMM보다 성능 향상을 보였지만, 여전히 독립형 ODO 모델의 성능을 따라잡지 못했다.
• 모든 시스템이 이벤트 밀도가 일치하지 않을 경우 성능 저하를 보였으며, 이는 이벤트 밀도의 광범위한 변동성에 대한 강인성 향상의 필요성을 시사한다.
• 기본 온셋 검출기 출력은 전체 시스템보다 뚜렷하게 열등한 성능를 보였으며, 이는 ODO 프레임워크가 기본 검출기 성능을 크게 향상시킨다는 것을 확인한다.

Figure 2: Schematic diagram of how probabilities are combined in the onset-duration-offset event detection model. Each source of probabilistic information is a marginal with respect to a different direction in the [onset $\times$ duration] space.