[논문 리뷰] Multi-Label Classifier Chains for Bird Sound

Forrest Briggs, Xiaoli Z. Fern외 1명|arXiv (Cornell University)|2013. 04. 22.

Animal Vocal Communication and Behavior참고 문헌 14인용 수 6

한 줄 요약

이 논문은 다중 레이블 새 소리 분류를 위해 분류기 체인의 앙상블(ECC)과 히스토그램-세그먼트 표현을 제안하며, 대부분의 경우 이진 관련성보다 우수한 성능을 보이며, 파rameter 조정이 없는 상태에서도 MIML 방법과 경쟁 가능한 성능을 보였다. 이 방법은 다수의 새 종이 동시에 소리를 내는 녹음에서 레이블 상관관계를 효과적으로 모델링하여, 복잡한 음향 환경을 가진 두 개의 실세계 데이터셋에서 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

Bird sound data collected with unattended microphones for automatic surveys, or mobile devices for citizen science, typically contain multiple simultaneously vocalizing birds of different species. However, few works have considered the multi-label structure in birdsong. We propose to use an ensemble of classifier chains combined with a histogram-of-segments representation for multi-label classification of birdsong. The proposed method is compared with binary relevance and three multi-instance multi-label learning (MIML) algorithms from prior work (which focus more on structure in the sound, and less on structure in the label sets). Experiments are conducted on two real-world birdsong datasets, and show that the proposed method usually outperforms binary relevance (using the same features and base-classifier), and is better in some cases and worse in others compared to the MIML algorithms.

연구 동기 및 목표

• 겹침 소리와 배경 잡음이 있는 실세계 오디오 녹음에서 동시에 소리를 내는 여러 새 종을 분류하는 데 도전하는 것.
• 특히 앙상블 분류기 체인(ECC)을 사용한 다중 레이블 분류가 새 소리 인식에서 이진 관련성보다 레이블 세트 상관관계를 더 잘 활용할 수 있는지 탐색하는 것.
• 새로운 아이폰으로 녹음한 높은 배경 잡음이 있는 데이터셋을 포함하여 두 개의 실세계 데이터셋에서 기존의 MIML 방법과 ECC를 평가하는 것.
• 모든 모델이 동일한 기본 분류기(랜덤 포레스트)와 특징 표현을 사용하는 조건에서, ECC를 이진 관련성과 MIML 알고리즘과 비교하여 표준 다중 레이블 평가 지표를 사용해 성능을 평가하는 것.

제안 방법

• 2차원 시간-주파수 지도 기반의 지도 학습 세그먼테이션 알고리즘과 군집화된 코드북을 사용하여 각 오디오 녹음을 고정 길이의 히스토그램-세그먼트로 표현한다.
• 히스토그램-세그먼트 표현을 적용하여 가변 길이의 새 소리 녹음을 다중 레이블 분류에 적합한 고정 길이의 특징 벡터로 인코딩한다.
• 각 체인에서 레이블에 대한 이진 분류기의 순서를 학습하는 랜덤 포레스트 기반의 앙상블 분류기 체인(ECC-RF)을 사용하여 레이블 상관관계를 모델링한다.
• 모든 모델이 동일한 기본 분류기(랜덤 포레스트)와 특징 표현을 사용하는 조건에서 5 또는 10겹 교차 검증을 통해 ECC 모델을 훈련하고 평가한다.
• ECC-RF를 이진 관련성(BR)과 세 가지 MIML 알고리즘(MIMLSVM, MIMLRBF, MIML-kNN)과 비교하며, 후자들은 최적 성능을 내기 위해 사후 파rameter 조정을 실시한다.
• 모든 방법을 표준 다중 레이블 평가 지표인 해밍 손실, 세트 0/1 손실, 랭크 손실, 1-오차, 커버리지로 평가한다.

실험 결과

연구 질문

• RQ1 동일한 특징 표현과 기본 분류기를 사용할 때, 앙상블 분류기 체인(ECC)이 다중 레이블 새 소리 분류에서 이진 관련성(BR)을 능가할 수 있는가?
• RQ2 ECC를 통해 레이블 세트 상관관계를 모델링하면, 이러한 구조를 忽시하는 방법보다 다수 종의 새 소리 녹음에서 성능이 향상되는가?
• RQ3 겹침 소리를 포함하고 높은 배경 잡음이 있는 실세계 새 소리 데이터셋에서 ECC는 최신 기술 수준의 MIML 알고리즘과 어떻게 비교되는가?
• RQ4 ECC와 MIML 방법 간의 성능 차이가 다중 인스턴스 구조 모델링와 레이블 상관관계 모델링의 차이에서 비롯되는 정도는 어느 정도인가?
• RQ5 히스토그램-세그먼트 표현은 효과적인 다중 레이블 새 종 분류를 위해 필요한 음향적 및 레이블 구조를 충분히 포괄할 수 있는가?

주요 결과

• ECC-RF는 두 데이터셋에서 10번의 성능 비교 중 7번에서 이진 관련성(BR)을 앞서며, 승패 기록이 7-3으로 레이블 상관관계 모델링에서 일관된 우위를 보였다.
• 아이폰 새소리 데이터셋에서 ECC-RF는 해밍 손실 0.1168과 세트 0/1 손실 0.8121을 기록하여 높은 배경 잡음에도 불구하고 뛰어난 성능을 보였다.
• HJA 새소리 데이터셋에서 ECC-RF는 해밍 손실 0.0485와 커버리지 1.6555를 기록하여 BR를 능가했으며, MIML 방법과의 경쟁에서도 좋은 성능을 보였다.
• HJA 데이터셋에서 MIML- $k$ NN는 해밍 손실 0.039로 가장 우수한 전반적 성능을 보였지만, 이는 사후 파rameter 조정 덕분이므로 공정한 비교에서 유리한 위치를 점유했다.
• MIMLRBF와 MIML- $k$ NN는 HJA 데이터셋에서 ECC-RF를 상회하며, 각각 승패 기록이 1-4와 0-5로 나타나, 일부 경우에서 다중 인스턴스 구조 모델링이 레이블 상관관계 모델링보다 더 중요할 수 있음을 시사한다.