[논문 리뷰] CaR-FOREST: Joint Classification-Regression Decision Forests for Overlapping Audio Event Detection

Huy Phan, Lars Hertel외 3명|arXiv (Cornell University)|2016. 07. 08.

Music and Audio Processing참고 문헌 13인용 수 10

한 줄 요약

이 논문은 겹치는 오디오 이벤트 검출을 위한 공동 분류-회귀 결합 결정 트리인 CaR-FOREST를 제안한다. 이는 긍정 및 부정 오디오 세그먼트를 동시에 분류하고 이벤트의 시작 및 종료 시점을 회귀함으로써, 다성분 혼합 환경에서의 특징 구분 능력을 향상시킨다. DCASE 2016 Task2 개발 데이터에서, 이는 F1 스코어 31.6% 및 세그먼트 기반 오차율 0.8304로 베이스라인을 초월하였다.

ABSTRACT

This report describes our submissions to Task2 and Task3 of the DCASE 2016 challenge. The systems aim at dealing with the detection of overlapping audio events in continuous streams, where the detectors are based on random decision forests. The proposed forests are jointly trained for classification and regression simultaneously. Initially, the training is classification-oriented to encourage the trees to select discriminative features from overlapping mixtures to separate positive audio segments from the negative ones. The regression phase is then carried out to let the positive audio segments vote for the event onsets and offsets, and therefore model the temporal structure of audio events. One random decision forest is specifically trained for each event category of interest. Experimental results on the development data show that our systems significantly outperform the baseline on the Task2 evaluation while they are inferior to the baseline in the Task3 evaluation.

연구 동기 및 목표

• 지속적인 스트림에서 겹치는 오디오 이벤트를 검출하는 데 도전하는 데 목적이 있다.
• 분류 및 회귀를 공동으로 훈련시킴으로써, 다성분 혼합 환경에서의 특징 구분 능력을 향상시키는 데 목적이 있다.
• 회귀 기반 훈련을 통해 오디오 이벤트의 시간적 구조를 모델링하는 데 목적이 있다.
• 겹치는 이벤트 검출 작업에서 기존의 베이스라인을 초월하는 시스템을 개발하는 데 목적이 있다.
• 다수의 동시 발생 이벤트가 있는 실제 오디오 환경에서도 강건한 검출을 가능하게 하는 데 목적이 있다.

제안 방법

• 시스템은 분류 및 회귀 작업을 공동으로 훈련하는 결정 숲을 사용한다.
• 분류 훈련은 겹치는 혼합물에서 구분 가능한 특징을 선택하여 긍정 및 부정 세그먼트를 분리한다.
• 회귀 훈련은 긍정 세그먼트가 시간적 경계에 투표하도록 이벤트의 시작 및 종료 시점을 모델링한다.
• 각 트리의 분할 노드는 특징 차이와 무작위 임계값을 사용한 테스트 함수에 기반해 분류 또는 회귀 중 하나를 무작위로 선택한다.
• 분할 품질은 분류의 경우 정보 이득, 회귀의 경우 총 거리 변동성으로 측정된다.
• 과적합을 방지하기 위해 무지 임계값을 적용하며, 1.0 초과의 임계값을 허용하여 효과적이지 않은 검출을 방지한다.

실험 결과

연구 질문

• RQ1 단일 작업 회귀 숲에 비해 공동 분류-회귀 훈련이 겹치는 오디오 이벤트 검출에 개선을 이끌 수 있는가?
• RQ2 겹치는 혼합 환경에서의 구분 가능한 특징 선택은 분류 정확도에 어떤 영향을 미치는가?
• RQ3 회귀 기반 투표 방식이 다성분 환경에서 오디오 이벤트의 시간적 구조를 어느 정도 정확하게 모델링할 수 있는가?
• RQ4 제안된 방법은 비겹침 및 겹침 이벤트 검출 작업 양쪽에서 기존의 베이스라인을 초월하는가?
• RQ5 무지 임계값 메커니즘이 신뢰도가 떨어지는 신뢰도 점수에서 성능 저하를 방지할 수 있는가?

주요 결과

• DCASE 2016 Task2 개발 데이터에서 CaR-FOREST는 세그먼트 기반 F1 스코어 31.6% 및 오차율 0.8304를 기록하여 베이스라인을 초월하였다.
• Task3(홈 시나리오)에서 시스템은 평균 세그먼트 기반 오차율 1.0449 및 F1 스코어 3.6%를 기록했으며, 베이스라인의 0.9783 및 15.9%와 비교해 떨어졌다.
• Task3(주거 지역)에서 시스템은 평균 오차율 1.0576 및 F1 스코어 12.9%를 기록했으며, 베이스라인의 1.3188 및 19.8%와 비교해 떨어졌다.
• 주거 지역에 대해 시스템은 베이스라인 대비 오차율에서 절대 개선 폭 0.2612를 기록했지만, F1 스코어에서는 여전히 열등했다.
• 시스템의 성능는 두 Task3 테스트 세트 모두에서 베이스라인보다 열 劣하였으며, 이는 복잡한 겹침 시나리오로의 일반화에 어려움이 있음을 시사한다.
• 110ms 평균 필터를 사용한 신뢰도 점수 스무딩이 홈 시나리오에서의 강인성을 향상시켜 이상치를 감소시켰다.