[논문 리뷰] The Orchive : Data mining a massive bioacoustic archive

Steven R. Ness, Helena Symonds외 2명|arXiv (Cornell University)|2013. 07. 02.

Music and Audio Processing참고 문헌 6인용 수 7

한 줄 요약

The Orchive는 1980년대 이래로 수집된 20,000시간 이상의 고래 음성 자료를 담은 대규모 생물음성 아카이브인 OrcaLab의 자료를 기계학습을 활용해 분석하는 웹 기반 플랫폼이다. 이 플랫폼은 배경 잡음, 고래 부르기, 연구자 음성 메모로 오디오를 분류하며, MFCC 및 스펙트럼 특징을 사용한 SVM 기반 분류기로 고래 부르기 분류에 93.4%의 정확도를 달성했고, 6종류의 부르기 유형을 구분하는 데에는 98.5%의 정확도를 기록하여 대규모 생물음성 데이터에 대한 확장성 있고 협업 가능한 연구를 가능하게 한다.

ABSTRACT

The Orchive is a large collection of over 20,000 hours of audio recordings from the OrcaLab research facility located off the northern tip of Vancouver Island. It contains recorded orca vocalizations from the 1980 to the present time and is one of the largest resources of bioacoustic data in the world. We have developed a web-based interface that allows researchers to listen to these recordings, view waveform and spectral representations of the audio, label clips with annotations, and view the results of machine learning classifiers based on automatic audio features extraction. In this paper we describe such classifiers that discriminate between background noise, orca calls, and the voice notes that are present in most of the tapes. Furthermore we show classification results for individual calls based on a previously existing orca call catalog. We have also experimentally investigated the scalability of classifiers over the entire Orchive.

연구 동기 및 목표

• 1980년대 이래로 수집된 20,000시간 이상의 고래 음성 자료 아카이브에 대한 대규모 협업 분석을 가능하게 하기 위해.
• 거대한 오디오 아카이브의 수작업 레이블링 문제를 해결하기 위해 자동화된 기계학습 분류기 개발을 위해.
• 최적화된 오디오 특징 추출 및 SVM 기반 모델을 통해 분류 정확도를 향상시키기 위해.
• 분산 컴퓨팅을 활용해 전체 아카이브에 걸쳐 분류기의 확장성과 성능을 향상시키기 위해.

제안 방법

• 시스템은 연구자가 오디오 클립을 청취하고, 웨이브폼 및 스펙트럼 표현을 통해 시각화하고 레이블을 지정할 수 있는 웹 기반 인터페이스를 사용한다.
• MFCC, 중심점, 롤오프, 플럭스, 제로 크로싱 등의 오디오 특징은 Marsyas 프레임워크를 사용해 추출된다.
• 손으로 잘라낸 오디오 클립을 기반으로 순차 최소 최적화(Sequential Minimal Optimization, SMO) SVM 분류기가 훈련되어 배경 잡음, 고래 부르기, 음성 메모를 구분한다.
• PBS 및 Westgrid를 통한 분산 컴퓨팅을 통해 클러스터에서 전체 Orchive의 분류가 수행되며, 데이터 서브셋을 기반으로 성능이 측정된다.
• 분류 정확도를 극대화하기 위해 600초의 레이블이 부여된 데이터셋을 사용해 특징 추출 파라미터(윈도우 크기, 힙 사이즈, 메모리)를 최적화한다.
• 부르기 분류는 20ms 프레임 간 특징의 평균 및 표준편차를 사용하며, 6개 카테고리(N1, N4, N7, N9, N47 등)에서 197개의 레이블이 부여된 부르기로 훈련된다.

실험 결과

연구 질문

• RQ1 대규모 아카이브에서 고래 부르기 분류를 위해 오디오 특징 추출 파라미터(윈도우 크기, 힙 사이즈, 메모리)의 최적 조합은 무엇인가?
• RQ2 기계학습 분류기가 실제 기록에서 배경 잡음, 고래 부르기, 연구자 음성 메모를 효과적으로 구분할 수 있는가?
• RQ3 레이블이 부여된 카탈로그를 기반으로 훈련된 SVM 분류기가 추출된 오디오 특징을 통해 개별 고래 부르기 유형을 정확히 식별할 수 있는가?
• RQ4 분산 컴퓨팅을 활용해 전체 20,000시간 이상의 Orchive에 적용했을 때 분류기 성능은 어떻게 스케일링되는가?
• RQ5 침묵을 제거하기 위해 오디오 클립을 수작업으로 잘라내는 것이 분류 정확도에 어떤 영향을 미치는가?

주요 결과

• 최적의 오디오 특징 추출 파라미터는 40ms 윈도우 크기, 1024 힙 사이즈, 512ms 메모리로, 600초 테스트 세트에서 80.58%의 정확도를 기록했다.
• 수작업으로 잘라낸 클립을 훈련 데이터로 사용했을 때 분류 정확도가 약 90%에서 96.5%로 향상되어 사전 처리의 가치를 입증했다.
• SVM 분류기는 전체 Orchive의 오디오를 배경, 고래, 음성 카테고리로 분류하는 데 93.4%의 정확도를 달성했다.
• 197개의 레이블이 부여된 부르기로 훈련한 분류는 98.5%의 정확도를 기록했으며, N7 및 N9 부르기는 가장 자주 오분류된 것으로 나타났다.
• 성능 스케일링 결과 근사 선형적 성능 향상이 관찰되었으며, 10台 컴퓨터에서 전체 Orchive 분류에 2:04:18:32가 소요되었고, 데이터의 1%는 단 5분만에 처리되었다.
• 혼동 행렬은 N1 및 N9 부르기의 정밀도가 높았고, N7 및 N9는 더 높은 오분류율을 보였으며, 이는 인간이 이들 부르기를 구분하는 데 어려움을 겪는 것과 일치했다.